python_Allen的博客

原创 2021-08-17 dataframe替换某列的某个值

dataframe替换某列的某个值wb["NeedModify"]=wb["NeedModify"].map({"Yes":1,"No":0}) #替换

原创 自动读取路径文件并根据某列的内容分列

import pandas as pdimport osimport globdir=r"C:\Users\Administrator\Desktop\结果\CheckResult_200_数据业务用户感知提升模板_中移_20210413_需要核查工具20210321以后版本使用_2_20210427164623.csv"路径=r"C:/Users/Administrator/Desktop/结果/"路径1=r"C:/Users/Administrator/Desktop/结果/result/"

原创 读取指定文件夹的指定类型的文件

import osimport globimport pandas as pdimport datetimeimport openpyxlstart=datetime.datetime.now()dir=r"E:/福州项目/参数核查/基于北向MR数据的5-4邻区核查/2021-03-06-xml/第一次解压/" #xml输入目录dir_mre=r"E:/福州项目/参数核查/基于北向MR数据的5-4邻区核查/2021-02-19-xml/第一次解压/"dir1=r"E:/福州项目/参数核查/

原创 xml文件的数据提取及解析

# 使用minidom解析器打开 XML 文档MR上报序列 = 0for 子文件 in 文件列表: print(子文件) DOMTree = xml.dom.minidom.parse(dir+子文件)#使用parse解析器打开xml文档，并将其解析为DOM文档，也就是内存中的一棵树，并得到这个对象 objects=DOMTree.documentElement #获取xml文档对象，就是拿到DOM树的根 #print(bulkPmMrDataFile.toxml())

原创 根据CSV文件某列的分类，进行拆分CSV文件

import pandas as pddir=r"C:\Users\Administrator\Desktop\结果\CheckResult_200_数据业务用户感知提升模板_中移_20210413_需要核查工具20210321以后版本使用_2_20210427164623.csv"result_1=pd.read_csv(dir,encoding="gbk")SubNetwork_list=list(result_1.groupby(["SubNetwork"]))for SubNetwork i

原创 python if语句结构

if <条件判断1>:<执行1>elif <条件判断2>:<执行2>elif <条件判断3>:<执行3>else:<执行4>

原创 python输出的字符串中包含变量

f-string最后一种格式化字符串的方法是使用以f开头的字符串，称之为f-string，它和普通字符串不同之处在于，字符串如果包含{xxx}，就会以对应的变量替换：r = 2.5s = 3.14 * r ** 2print(f’The area of a circle with radius {r} is {s:.2f}’)The area of a circle with radius 2.5 is 19.62上述代码中，{r}被变量r的值替换，{s:.2f}被变量s的值替换，并

原创 python占位符

在Python中，采用的格式化方式和C语言是一致的，用%实现，举例如下：‘Hello, %s’ % ‘world’‘Hello, world’‘Hi, %s, you have $%d.’ % (‘Michael’, 1000000)‘Hi, Michael, you have $1000000.’你可能猜到了，%运算符就是用来格式化字符串的。在字符串内部，%s表示用字符串替换，%d表示用整数替换，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可

原创 win10蓝屏的处理思路

1.硬盘，内存检测2.驱动，3.win10系统更新

原创 解决insert只能处理65535行的方法，直接用列号赋值就行

import pandas as pddir=r"C:\福州互操作-删除.csv"dir1=r"C:\SA参数核查统计-1106.xlsx"dir_quhao=r"C:\区号与地市对应.xlsx"qingdan=pd.read_csv(dir,low_memory=False)qingdan["区号"]=qingdan["SubNetwork"].str[0:3]quhao_list=pd.read_excel(dir_quhao,dtype={"区号":str}) #将区号那列修改为字符型x

原创 VBA-要想宏跑的快，需要用到数组

VBA-要想宏跑的快，需要用到数组，原因是Excel的读写非常慢，需要将EXCEL文件先放入数组，然后数组一次性传给Excel，这样能够提升速度Sub 统计() Dim wb_yuanshi As Workbook Dim sht_yuanshi As Worksheet Dim wb_tongji As Workbook Dim sht_tongji As Worksheet Dim range_yuanshi As Range Dim range_ton

原创 VBA读取excel文件

Option ExplicitSub 筛选并合并至新表格() Dim wb As Workbook Dim tongji As Workbook Dim shaixuan As Worksheet Set wb = Workbooks.Open("E:\福州项目\参数核查\输入输出表格\输入报表\基础参数\CheckResult_200_NR参数核查导入模板_V3运营商基线_泉州网管_20200922151142.csv") Set tongji = Workbo

原创 vba学习--第六课 函数调用及传参

WorkSheets（5）WorkSheets（“汇总”）CALL 函数（）函数的调用及传参

原创 VBA学习-第五课--面向对象

类对象属性方法1.Application 代表系统正在运行的excel本身2.workbook 代表一个打开的excel文件3.worksheet 代表一张工作表4.range 代表一个或若干个单元格组成的内容区域workbooks 属性worksheets属性cells属性...

原创 vba学习-第六课 while循环

第一种while x<5 ---------------- -------------------Wend ----------------第二种`Do While Loop

原创 vba学习-第五课 录制宏

vba学习-第五课 录制宏单元格，格式操作等，可以先录制宏，然后通过录制的宏来学习

原创 vba学习--第四课 设置断点-单步调试-添加监视

设置断点左击单步调试F8添加监视调试–添加监视

原创 vba学习第三课 if语句

普通IF语句if score<60 Then cells（8,6）="及格"Else cells(8,6)="不及格"End If多重if语句if score>80 then cells(8,6)="A"ElseIf score>70 then cells（8,6）="B"Else score>60 cells(8,6)="C"End if

原创 VBA学习-第二课 For循环

For i=2 to 10 step 1 .....Next i

原创 VBA学习--第一课 强制声明,变量和常量

Option Explicit #如果存在没有定义的变量，会出错，强制声明Sub mathTest（） Dim r1,s const Pi=3.1415 #值为常量，不能被修改 r1=Cells(4,3) s=Pi*r1*r1 Cells(4,4)=sEnd Sub

原创 VBA学习---前提

VBA学习工作中经常遇到大批量操作，需要用到EXCEL，Excel中有xlsm模块，使用python库的兼容性并不好，考虑还是需要使用VBA

原创 豆瓣电影热度排名----爬虫学习

亲测有效，仅供学习~from urllib import requestimport reheader={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}#https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E

原创 爬取人人网信息-session应用--爬虫学习

爬取人人网信息—爬虫学习 ，仅供学习~import requestsheader={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}ses=requests.session()data={"email":"输入自己的账号","password":"输入自己的密码"}#通过session得到coo

原创 下载好听轻音乐爬虫--爬虫学习

下载好听轻音乐爬虫，亲测有效，仅供学习~// An highlighted blockimport requestsimport reimport timesongid=[]songname=[]header={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",\ "Referer

原创 cookie的格式-爬虫学习

cookie的格式：Set-Cookie: NAME=VALUE；Expires/Max-age=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE参数意义：NAME：cookie的名字。VALUE：cookie的值。Expires：cookie的过期时间。Path：cookie作用的路径。Domain：cookie作用的域名。SECURE：是否只在https协议下起作用...

原创 ProxyHandler处理器（代理设置）----爬虫学习

ProxyHandler处理器（代理设置）很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：from urllib import request#这个是没有使用代理的resp = request.urlopen(‘

原创 urlparse和urlsplit---爬虫学习

urlparse和urlsplit：有时候拿到一个url，想要对这个url中的各个组成部分进行分割，那么这时候就可以使用urlparse或者是urlsplit来进行分割。示例代码如下：from urllib import request,parseurl = ‘http://www.baidu.com/s?username=zhiliao’result = parse.urlsplit(url)#result = parse.urlparse(url)print(‘scheme:’,result

原创 parse_qs函数---爬虫学习

parse_qs函数：可以将经过编码后的url参数进行解码。示例代码如下：from urllib import parseqs = “name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100”print(parse.parse_qs(qs))

原创 urlencode函数---爬虫学习

urlencode函数：用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动的给我们进行编码。而如果使用代码发送请求，那么就必须手动的进行编码，这时候就应该使用urlencode函数来实现。urlencode可以把字典数据转换为URL编码的数据。示例代码如下：from urllib import parsedata = {‘name’:‘爬虫基础’,‘greet’:‘hello world’,‘age’:100}qs = parse.urlencode(data)pri

原创 urlretrieve函数--爬虫学习

urlretrieve函数：这个函数可以方便的将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地：from urllib import requestrequest.urlretrieve(‘http://www.baidu.com/’,‘baidu.html’)...

原创 urlopen函数---爬虫学习

urlopen函数：在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基本的使用：from urllib import requestresp = request.urlopen(‘http://www.baidu.com’)print(resp.read())实际上，使用浏览器访问百度，右键查看源代码。你会发现，跟我们刚才打印出来的数据是一模一样的。也就是说，上面的三行代码就已经帮我们把百度的首页的全部代码爬

原创 请求头常见参数--爬虫学习

请求头常见参数：在http协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在body中（在post请求中），第三个就是把数据放在head中。这里介绍在网络爬虫中经常会用到的一些请求头参数：User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是Python，这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求

原创 url详解---爬虫学习

URL是Uniform Resource Locator的简写，统一资源定位符。 一个URL由以下几部分组成：scheme://host:port/path/?query-string=xxx#anchorscheme：代表的是访问的协议，一般为http或者https以及ftp等。host：主机名，域名，比如www.baidu.com。port：端口号。当你访问一个网站的时候，浏览器默认使用80端口。path：查找路径。比如：www.jianshu.com/trending/now，后面的tre

原创 http请求的过程

在浏览器中发送一个http请求的过程：当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CS

原创 页面访问流程---爬虫学习

原创 类---python基础学习

❶ class Dog():❷ “”“一次模拟小狗的简单尝试”""❸ def init(self, name, age):“”“初始化属性name和age”""❹ self.name = nameself.age = age❺ def sit(self):“”“模拟小狗被命令时蹲下”""print(self.name.title() + " is now sitting.")def roll_over(self):“”“模拟小狗被命令时打滚”""print(self.name.titl

原创 传递参数方式--python基础学习

1.位置实参def describe_pet(animal_type, pet_name):“”“显示宠物的信息”""print("\nI have a " + animal_type + “.”)print("My " + animal_type + "'s name is " + pet_name.title() + “.”)describe_pet(‘harry’, ‘hamster’)2.关键字实参def describe_pet(animal_type, pet_name):“”“

原创 函数---python基础学习

❶ def greet_user():❷ “”“显示简单的问候语”""❸ print(“Hello!”)❹ greet_user()def greet_user(username):“”“显示简单的问候语”""print("Hello, " + username.title() + “!”)greet_user(‘jesse’)

原创 while循环与for循环的区别--python基础学习

for循环适用于已知循环次数，while循环适用于未知循环次数

原创 列表中存储字典，字典中存储列表，字典中存储字典--python基础学习

字典有两部分，一个item，一个value列表中存储字典创建一个用于存储外星人的空列表aliens = []创建30个绿色的外星人❶ for alien_number in range(30):❷ new_alien = {‘color’: ‘green’, ‘points’: 5, ‘speed’: ‘slow’}❸ aliens.append(new_alien)[ {‘color’: ‘green’, ‘points’: 5, ‘speed’: ‘slow’},{‘color’: ‘