- 博客(11)
- 收藏
- 关注
RSS订阅原创 【python爬虫】反反爬之破解js加密--入门篇：谷歌学术镜像搜索（scmor.com)
本专栏主要分享Python爬虫工程师在技术进阶过程中必须掌握的各种反反爬技能。期待和Python爬虫爱好者共同探讨。前言：网页的js加密是爬虫过程中经常会遇到的反爬措施，导致在开发爬虫脚本时，无法正确构造请求头、表单等信息。通过本案例，希望带给你破解js加密的常规流程和解密思路。注意：或许你是个Python高手，但是没有前端js的经验，我可以确定的是，这丝毫不会影响你学习本文的...
2019-08-21 17:28:35
1613
3
原创 centos安装mysql的详细图文教程（适合初学者的经验贴）
首先请确保你已经完成了centos上其他mysql版本、插件的删除。第一步：查看你所需要的版本安装包：https://dev.mysql.com/downloads/repo/yum/第二步：下载安装包并安装（这里以5.7为例）wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm下载后...
2019-08-21 15:14:34
1766
原创 用python 操作mysql的基本操作
1插入（单条）数据：insert into （改写法，在遇到主键重复的情况下，代码会报错）data = {'name':'GREAT','from':'hkg','id':'082001','age':'99','shengao':'188','tianjia':'666'} try: conn = pymysql.connect(host='localhost...
2019-08-20 17:51:40
182
原创 sql语句失效的一种情况：字段名和关键字重名
当表中的某个字段是mysql的关键字时，sql语句会失效，这时会让你莫名其妙地无法进行操作。只需要在sql语句中，对该字段的名字前后加入`符号即可。这个符号不是单引号，是在因为输入法状态下，键盘上左上角，数字1左边的那个按键insert_sql = """insert into test_biao(name,`from`,id) values(%s, %s, %s)"""...
2019-08-20 14:29:55
2399
原创 用python脚本发送QQ邮件
第一步：开启QQ邮箱SMTP服务，获得授权码（指的是发送方的邮箱）进入qq邮箱，开启QQ邮箱的设置-账户里的SMTP服务，并且点击生成授权码。网页会提示你通过发送短信验证来获得授权码，这个授权码会用在我们的python代码里。第二步：编写脚本：import smtplibfrom email.mime.text import MIMETextmsg_fr...
2019-08-19 11:10:29
768
1
原创 centos7 下安装Nginx（最完整、易懂的教程）
一：安装基础工具：yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel二：安装 Nginx 地址：http://nginx.org/en/download.html查找需要的版本，这里以1.16.1 为例：wget https://nginx.org/download/nginx-1.1...
2019-08-15 15:17:41
6254
1
原创 python中的异步编程：asyncio 和aiohttp 的结合使用（aiohttp-requests、aiofiles）
asyncioasyncio 是用来编写并发代码的库，使用async/await语法。asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。asyncio 往往是构建 IO 密集型和高层级结构化网络代码的最佳选择。aiohttpaiohttp是一个为Python提供异步HTTP 客户端/服务端编程...
2019-08-12 21:19:55
4605
原创 用python获取当前脚本所在的各级目录
def get(): import os dangqian_path = os.path.dirname(__file__) shangji_path = os.path.dirname(os.path.dirname(__file__)) shang_shangji_path = os.path.dirname(os.path.dirname(os.path....
2019-08-05 17:25:19
609
原创 用python对列表中的字典去重
from functools import reduce all_tomorrow_Data = [{'a':1},{'a':1}]filter_function = lambda x, y: x if y in x else x + [y] all_tomorrow_Data_set = reduce(filter_function, [[], ] + all_tomorr...
2019-08-05 16:45:46
1539
1
原创 用python脚本查看电脑内存、CPU使用情况
有时为了对电脑、服务器做运行情况监控，需要获取内存、cpu的使用情况：# 先下载psutil库:pip install psutil# 下载地址 https://pypi.org/project/psutil/5.6.2/import psutildef getMemCpu(): data = psutil.virtual_memory() total = dat...
2019-08-05 13:00:32
3631
1
原创 windows 下pycrypto 的安装
在安装pycrypto过程中，总是出现错误：类似Microsoft Visual C++ 14.0 is required. 或者Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe' failed最后还是通过 以下代码直接 就安装成功：pip install -i https://pypi.douban.com/simp...
2019-08-01 23:48:47
1327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人