端木胥的博客

什么是网络爬虫?网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。爬虫流程先由urllib的request打开Url得到网页html文档浏览器打开网页源代码分析元素节点通过Beautiful Soup或者正则表达式提取想要的数据存储数据到本地磁盘或数据库（抓取，分析，存储）简单实例爬取17K小说网（https://www...

datetime模块其实就是date和time 模块的结合， 常见的属性方法都比较常用比如：datetime.day,datetime.month,datetime.year 分别表示一个datetime对象的日，月，年from datetime import datetimedt=datetime.now() #创建一个datetime类对象print dt.year,dt.mont...

Python头部 #!/usr/bin/python和 #!/usr/bin/env python 的区别#!/usr/bin/env python这样声明的时候，会去取你机器的 PATH 中指定的第一个 python 来执行你的脚本。#!/usr/bin/python表示写死了就是要 /usr/bin/python 这个目录下 python 来执行你的脚本。这样写程序的可移植性就差了...

正则表达式re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.match(pattern, string, flags=0)pattern：匹配的正则表达式string：要匹配的字符串。flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。匹配成功re.matc...

strip()方法strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。>>> x="01013434343430101010">>> x.strip('01')'343434343'>>> x.strip('014')'343434343'&...

Python JSONJSON函数使用 JSON 函数需要导入 json 库：import jsonjson.dumps:将 Python 对象编码成 JSON 字符串json.loads:将已编码的 JSON 字符串解码为 Python 对象encode:将 Python 对象编码成 JSON 字符串decode:将已编码的 JSON 字符串解码为 Python 对象json....

判断python字典中key是否存在的两种方法使用自带函数实现python的字典的属性方法里面有一个has_key()方法，可以直接判断字典中是否有某个key>>> dic = {"name":"duanmuxu", "sex":"male"}>>> dic.has_key("name")True>>> dic.has_key("a...

convert_types.py 脚本中保存了一个列表，列表中存放的是pv行为，如：[‘离线动作-列表页-到这里去 1’,‘离线动作-图区-搜周边 2’,‘离线动作-图区-到这里去 1’…]今天想要将 convert_types.py 里的pv行为全部都放在excel表里，行为名称和行为编号分开存放，于是使用pandas 中的dataframe结构存放数据，再将dataframe的数据写入exc...