Python
W痞子书生
这个作者很懒,什么都没留下…
展开
-
Python序列类型相互转换总结
Python的序列类型相互转换是个令人抓狂的问题,简直是转换到找不到北啊!下面简单总结一下,方便记忆。先来强转的,首先来看list类型:下面再来看str类型:最后来看tuple类型:总结:可以看出,list、tuple转str类型都是在外侧强制加上字符串的标志(‘’/'' ''/''' '''),list、tuple类型相互转时内容基本不会变化,只是改为各自原创 2017-11-04 14:31:39 · 5818 阅读 · 0 评论 -
Python加载和解析包含多个JSON对象的JSON文件
Python加载和解析包含多个JSON对象的JSON文件近期工作中,有一个爬虫任务直接将文本内容存为了.json文件,之后领导又给了个解析json文件里部分内容的需求,开始直接用with open打开文件用json.load读取,然而因为一个文件里存在多个json对象,所以,失败。网上相关操作资料貌似也并不多,在这里记录一下解决过程,方便各位码友查阅。找了很久终于找到了一个jsonlines的...原创 2018-10-09 17:54:39 · 13588 阅读 · 6 评论 -
【整理】Python中:self和__init__的含义 + 为何要有self和__init__ + 了解何时去使用self和__init__
Python中的self,init的含义是啥? 为何要有self,__init这些东西?Python中的self在Python中的类Class的代码中,常看到函数中的第一个参数,都是self。以及Class中的函数里面,访问对应的变量(读取或者写入),以及调用对应的函数时,都是self.valueNameself.function()的形式。下面就来解释一下sel...转载 2018-08-03 17:42:33 · 320 阅读 · 0 评论 -
scrapy-redis分布式爬虫全站爬取顶点小说网
scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能:scheduler - 调度器dupefilter - URL去重规则(被调度器使用)pipeline - 数据持久化下面通过爬取顶点小说网帮助大家快速了解scrapy-redis的使用。 items.py:import scrapy...原创 2018-06-27 14:27:21 · 845 阅读 · 0 评论 -
腾讯招聘信息爬取
腾讯招聘网站信息爬取,用到了伪造headers信息,xpath进行内容解析以及存储为json文件等,是典型的较为简单的爬虫案例,各位新手可以用它练练手。开发环境:Windows10 开发语言:Python3.6 开发工具:pycharm 抓包工具:Charlesimport requestsimport randomimport jsonimport timefrom l...原创 2018-06-27 12:16:11 · 861 阅读 · 0 评论 -
豆瓣网电影爬取
还在思考该看什么电影吗?还在纠结这个电影值不值得看吗?还在苦恼找不到对口味的电影吗?福利来了!豆瓣网电影信息爬取,专业分析电影价值,有了网友们的切身体验,你还需有担心看到烂片的烦恼吗! 废话不多说,直接上代码!开发环境:Windows10 开发语言:Python3.6 开发工具:pycharm 抓包工具:fiddlerimport randomimport jsonimp...原创 2018-06-27 11:45:57 · 724 阅读 · 3 评论 -
王者荣耀盒子App数据爬取
手机app爬虫听起来很高端神秘,但它其实大部分比网页爬虫都简单,因为大部分app都是可以直接抓到包的,少部分app没办法直接获取,需要 wireshark、反编译、脱壳 等方式去查找加密算法,而且app抓包一般都是抓取到服务器返回的json数据包,处理起来没那么麻烦。下面给大家分享一个简单的App爬取案例。开发环境:Windows10 开发语言:Python3.6 开发工具:pycha...原创 2018-06-27 11:32:40 · 2010 阅读 · 0 评论 -
python程序扩展名 py、pyc、pyo、pyd文件区别
py是源文件,pyc是源文件编译后的文件,pyo是源文件优化编译后的文件,pyd是其他语言写的python库python并非完全是解释性语言,它是有编译的,先把源码py文件编译成pyc或者pyo,然后由python的虚拟机执行,相对于py文件来说,编译成pyc和pyo本质上和py没有太大区别,只是对于这个模块的加载速度提高了,并没有提高代码的执行速度,通常情况下不用主动去编译pyc文件,文档上转载 2018-01-24 14:46:35 · 8537 阅读 · 0 评论 -
在Python中正确使用Unicode
正确处理文本,特别是正确处理Unicode。是个老生常谈的问题,有时甚至会难倒经验丰富的开发者。并不是因为这个问题很难,而是因为对软件中的文本,开发者没有正确理解一些关键概念及其表示方法。在StackOverflow上搜索关于UnicodeDecodeError相关的问题,可以看到很多人都有这样的误解。这些错误的概念可以追溯到Unicode出现之前。那时许多现今的开发者还没入职,也包括我自己。如果转载 2018-01-05 15:36:26 · 9060 阅读 · 1 评论 -
Python3安装turtle库
Python3安装turtle提示错误:Command “python setup.py egg_info” failed with error code 1仔细查看安装turtle出错的错误信息,可以看到是个语法错误。pip在下载turtle 0.0.2包后,会解压到本地再安装,提示的错误在解压的setup.py文件里面,解决的办法就是:按照给定的链接(我的是这个),把turtle包下载到...原创 2018-12-24 19:19:49 · 21330 阅读 · 3 评论