- 博客(6)
- 收藏
- 关注
RSS订阅原创 ubuntu 18.04 Nginx源码安装
Nginx源码安装一, 首先需安装nginx依赖库1.安装gcc g++的依赖库apt-get install build-essentialapt-get install libtool2.安装pcre依赖库sudo apt-get updatesudo apt-get install libpcre3 libpcre3-dev3.安装zlib依赖库apt-get inst...
2019-01-22 17:04:17
3356
1
原创 使用Selenium添加访问cookie, 实现淘宝自动登录
淘宝在不登录的情况下, 许多信息没有显示, 而在登录滑块验证时, selenium模拟会被检测出来, 所以我们利用手机扫码登录, 保存cookies并实现之后登录访问.登录并保存cookieimport jsonfrom selenium import webdriverfrom selenium.webdriver.firefox.options import Optionsopti...
2019-01-17 16:37:12
6821
8
原创 python 更换pip安装源
pip源, 默认从国外源安装, 安装速度比较慢. 现在我们指定国内源安装源: 阿里源、豆瓣源.Ubuntu源，（1）指令配置源 pip3 install xlrd -i https://pypi.tuna.tsinghua.edu.cn/simple/（2）永久配置 pip install bs4windows 1、打开文件资源管理器 2、地址栏输入 %a...
2019-01-07 10:22:27
625
原创 一个实现scrapy框架部分功能的爬虫(实现了,下载限流器,随机ip代理, 下载去重等功能)
这是一个具备可扩展功能的爬虫!!!import osimport requestsfrom fake_useragent import UserAgentfrom retrying import retryimport hashlib # 信息摘要 md5import queue # 队列import re # 正则表达式from urllib import robotpa...
2019-01-06 16:54:18
348
原创 [爬虫]爬取猫眼电影票房信息(信息字体加密)
猫眼电影里面的实时票房, 票房占比等信息是字体加密的, 所以要爬取这些信息需要解决字体加密这个问题. 下面介绍一种解密字体的办法.在橙色方块标注的地方我们可以看出字体是加密的, 我们就以这部分字体为例进行解析.首先我面要找到加密的字体, 查看网页源代码, 搜索font-family, 找到base64后面的字体字符串, 下图中方框中的部分.创建一个font_cat.py的文件, 并将这部分...
2019-01-06 16:38:31
2682
转载 Numpy包函数的使用（史上最全）
1.NumPy NumPy是高性能科学计算和数据分析的基础包。部分功能如下：ndarray, 具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。用于对整组数据进行快速运算的标准数学函数（无需编写循环）。用于读写磁盘数据的工具以及用于操作内存映射文件的工具。线性代数、随机数生成以及傅里叶变换功能。用于集成C、C++、Fortran等语言编写的代码的工具。 首先...
2019-01-05 13:14:40
754
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人