- 博客(18)
- 收藏
- 关注
RSS订阅原创 Python3安装turtle库
Python3安装turtle提示错误：Command “python setup.py egg_info” failed with error code 1仔细查看安装turtle出错的错误信息，可以看到是个语法错误。pip在下载turtle 0.0.2包后，会解压到本地再安装，提示的错误在解压的setup.py文件里面，解决的办法就是：按照给定的链接（我的是这个），把turtle包下载到...
2018-12-24 19:19:49
21387
3
转载 有趣的linux命令
有趣的linux命令1. sl 命令你会看到一辆火车从屏幕右边开往左边。。。。。。安装 $ sudo apt-get install sl运行 $ sl命令有 -alFe几个选项，-a An accident seems to happen. You’ll feel pity for people who cry for help.-l shows little one.-F ...
2018-12-21 17:11:08
436
转载 几种常见的Shell：sh、bash、csh、tcsh、ash
Linux 是一个开源的操作系统，由分布在世界各地的多个组织机构或个人共同开发完成，每个组织结构或个人负责一部分功能，最后组合在一起，就构成了今天的 Linux。例如：Linux 内核最初由芬兰黑客 Linus Torvalds 开发，后来他组建了团队，Linux 内核由这个团队维护。GNU 组织开发了很多核心软件和基础库，例如 GCC 编译器、C语言标准库、文本编辑器 Emacs、进程管理...
2018-10-18 10:57:43
655
原创 Python加载和解析包含多个JSON对象的JSON文件
Python加载和解析包含多个JSON对象的JSON文件近期工作中，有一个爬虫任务直接将文本内容存为了.json文件，之后领导又给了个解析json文件里部分内容的需求，开始直接用with open打开文件用json.load读取，然而因为一个文件里存在多个json对象，所以，失败。网上相关操作资料貌似也并不多，在这里记录一下解决过程，方便各位码友查阅。找了很久终于找到了一个jsonlines的...
2018-10-09 17:54:39
13698
6
转载 【整理】Python中：self和__init__的含义 + 为何要有self和__init__ + 了解何时去使用self和__init__
Python中的self,init的含义是啥？ 为何要有self,__init这些东西？Python中的self在Python中的类Class的代码中，常看到函数中的第一个参数，都是self。以及Class中的函数里面，访问对应的变量（读取或者写入），以及调用对应的函数时，都是self.valueNameself.function()的形式。下面就来解释一下sel...
2018-08-03 17:42:33
342
原创 scrapy-redis分布式爬虫全站爬取顶点小说网
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能：scheduler - 调度器dupefilter - URL去重规则（被调度器使用）pipeline - 数据持久化下面通过爬取顶点小说网帮助大家快速了解scrapy-redis的使用。 items.py:import scrapy...
2018-06-27 14:27:21
874
原创 腾讯招聘信息爬取
腾讯招聘网站信息爬取，用到了伪造headers信息，xpath进行内容解析以及存储为json文件等，是典型的较为简单的爬虫案例，各位新手可以用它练练手。开发环境：Windows10 开发语言:Python3.6 开发工具：pycharm 抓包工具：Charlesimport requestsimport randomimport jsonimport timefrom l...
2018-06-27 12:16:11
908
原创 豆瓣网电影爬取
还在思考该看什么电影吗？还在纠结这个电影值不值得看吗？还在苦恼找不到对口味的电影吗？福利来了！豆瓣网电影信息爬取，专业分析电影价值，有了网友们的切身体验，你还需有担心看到烂片的烦恼吗！ 废话不多说，直接上代码！开发环境：Windows10 开发语言:Python3.6 开发工具：pycharm 抓包工具：fiddlerimport randomimport jsonimp...
2018-06-27 11:45:57
787
3
原创 王者荣耀盒子App数据爬取
手机app爬虫听起来很高端神秘，但它其实大部分比网页爬虫都简单，因为大部分app都是可以直接抓到包的，少部分app没办法直接获取，需要 wireshark、反编译、脱壳 等方式去查找加密算法，而且app抓包一般都是抓取到服务器返回的json数据包，处理起来没那么麻烦。下面给大家分享一个简单的App爬取案例。开发环境：Windows10 开发语言:Python3.6 开发工具：pycha...
2018-06-27 11:32:40
2066
转载 ubuntu 解决“无法获得锁 /var/lib/dpkg/lock -open （11：资源暂时不可用）”的方法
在ubuntu系统的termial下，用apt-get install 安装软件的时候，如果在未完成下载的情况下将terminal close。此时 apt-get进程可能没有结束。结果，如果再次运行apt-get install 命令安装如今，可能会发生下面的提示： 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) 无法锁定管理目录(...
2018-05-22 11:40:51
190
转载 PyCharm 常用快捷键和设置
pycharm常用快捷键 1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性） Ctrl + Alt + Space 快速导入任意类 Ctrl + Shift + Enter 语句完成 Ctrl + P 参数信息（在方法中调用参数） Ctrl + Q 快速查看文档F1 外部文档Shift + F1 外部文档，...
2018-03-18 21:52:14
2595
转载 python程序扩展名 py、pyc、pyo、pyd文件区别
py是源文件，pyc是源文件编译后的文件，pyo是源文件优化编译后的文件，pyd是其他语言写的python库python并非完全是解释性语言，它是有编译的，先把源码py文件编译成pyc或者pyo，然后由python的虚拟机执行，相对于py文件来说，编译成pyc和pyo本质上和py没有太大区别，只是对于这个模块的加载速度提高了，并没有提高代码的执行速度，通常情况下不用主动去编译pyc文件，文档上
2018-01-24 14:46:35
8599
转载 编码格式发展历史及简介
（ANSI、GBK、GB2312、UTF-8、GB18030和 UNICODE）编码一直是让新手头疼的问题，特别是 GBK、GB2312、UTF-8 这三个比较常见的网页编码的区别，更是让许多新手晕头转向，怎么解释也解释不清楚。但是编码又是那么重要，特别在网页这一块。如果你打出来的不是乱码，而网页中出现了乱码，绝大部分原因就出在了编码上了。此外除了乱码之外，还会出现一些其他问题（例如：IE6
2018-01-24 09:42:19
291
转载 http、https 等 常用默认端口号
⑴. HTTP协议代理服务器常用端口号：80/8080/3128/8081/9080 ⑵. SOCKS代理协议服务器常用端口号：1080 ⑶. FTP（文件传输）协议代理服务器常用端口号：21 ⑷. Telnet（远程登录）协议代理服务器常用端口：23HTTP服务器，默认的端口号为80/tcp（木马Executor开放此端口）； HTTPS（securely transferring
2018-01-11 11:32:02
8466
转载 在Python中正确使用Unicode
正确处理文本，特别是正确处理Unicode。是个老生常谈的问题，有时甚至会难倒经验丰富的开发者。并不是因为这个问题很难，而是因为对软件中的文本，开发者没有正确理解一些关键概念及其表示方法。在StackOverflow上搜索关于UnicodeDecodeError相关的问题，可以看到很多人都有这样的误解。这些错误的概念可以追溯到Unicode出现之前。那时许多现今的开发者还没入职，也包括我自己。如果
2018-01-05 15:36:26
9090
1
转载 如何解决高并发问题
一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是
2017-11-24 16:36:24
5502
原创 Python序列类型相互转换总结
Python的序列类型相互转换是个令人抓狂的问题，简直是转换到找不到北啊！下面简单总结一下，方便记忆。先来强转的，首先来看list类型：下面再来看str类型：最后来看tuple类型：总结：可以看出，list、tuple转str类型都是在外侧强制加上字符串的标志（‘’/'' ''/''' '''），list、tuple类型相互转时内容基本不会变化，只是改为各自
2017-11-04 14:31:39
5852
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人