- 博客(16)
- 收藏
- 关注
RSS订阅原创 Bootstrap栅格系统
BootstrapBootstrap官方下载页面Bootstrap基本模板<!DOCTYPE html><html lang="zh-CN"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge">...
2019-07-23 15:50:54
133
原创 最新版模拟登陆人人视频（电脑端与移动端）
分析需要POST提交哪些数据 很好，人人网并没有针对Form Data 进行加密处理，我们只需要发出一个的POST携带对应的Form Data信息即可 通过观察发现，Form Data提交的数据量远大于我们...
2019-07-01 02:06:00
981
原创 爬取斗鱼直播的主播信息（requests与selenium两种方式）
使用selenium爬取斗鱼直播 以前一直知道find_elements_by_xpath速度很慢（需要加载整个文档），但是一直没有太深刻的印象，直到我写到这个爬虫，先定位父元素再循环定位里面的子元素使用xpath会报错（找不到目标元素）。from selenium import webdriver...
2019-07-01 02:05:41
1214
原创 selenium不再支持phantomjs;chrome、firefox推出无头浏览器模式
问题描述 好久没碰selenium了，今天重新试了试，发现driver = webdriver.PhantomJS()居然报错了！UserWarning: Selenium support for PhantomJS has been deprecated, please use headless ve...
2019-06-30 16:45:48
607
原创 requests爬取图片（百思不得其姐）
最原始的方式以二进制写入文件保存图片import reimport osimport requestsclass BsbdqjSpider: def __init__(self): self.base_url = "http://www.budejie.com/" self.headers = { "User-Agent"...
2019-06-29 19:34:47
223
原创 使用requests爬取豆瓣电视
暴力点直接上代码爬取的过程中发现不涉及cookie和ipimport jsonimport requestsimport geventfrom gevent import monkeymonkey.patch_socket()class DoubanTVSpider: def __init__(self): self.base_url = "https:...
2019-06-28 15:40:18
442
原创 抓取百度翻译的接口（通过反编译js获取token、gtk、sign等签名信息）
废话少说直接上代码。pc版baidutranslator.pyimport requestsimport jsonimport reimport execjsclass BaiduTranslator: def __init__(self): self.trans_str = None self.trans_url = "https://f...
2019-06-27 12:47:39
3563
3
原创 使用PyCharm进行正则替换，将request headers转换为字典类型
问题描述使用网络爬虫伪造请求头的时候，经常要讲浏览器上的请求头复制下来使用，这样就会产生一个问题，将复制的请求头转换为实际能够使用的字典类型，实在是太繁琐了。解决方案我们可以借助Pycharm自带的正则替换的方式一键转换。新建一个文件，在文件中创建一个字典并将复制的request headers填入其中，这时候Pycharm会报错，请忽略！使用快捷键ctrl+R,调出替换框，选择Ra...
2019-06-26 12:41:31
2560
1
原创 Requests网络爬虫简述
什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，接收请求响应，是一种按照一定的规则，自动地抓取互联网信息的程序。 只要是浏览器能做的事情，原则上，爬虫都能够做爬虫的更多用...
2019-06-22 19:32:05
365
原创 MarkdownPad 2在win10下报错An error occurred with the HTML rendering component。
问题描述在win10系统下安装MarkdownPad 2后，运行程序出现错误提示HTML Rendering ErrorAn error occurred with the HTML rendering component.This issue may be fixed by installing a missing component.Would you like to learn mor...
2019-06-21 16:31:57
1797
原创 django ORM多表之间的联系（一对多，一对一）
问题描述：有三张表，表1跟表2是一对多的关系，表2跟表3是一对一的关系，如何将表1跟表3连接起来解决方案用prefetch_related连接表1跟表2，如果此时再创建新的QuerySet会打乱prefetch_related进行的SQL优化，这时候可以使用django.db.models.Prefetch来实现，Prefetch这个提前定义好QuerySet。在Prefetch使用se...
2019-06-20 02:11:17
267
原创 在Django中启动FastDFS遇到的一系列问题
问题描述在python3.7版本中，导入fdfs_client模块失败解决方案移除所有已安装的fdfs模块，安装py3Fdfs模块from py3Fdfs.client import Fdfs_client即可，但是你以为这样就结束了？恭喜你现在正是入坑。因为版本更替的原因py3Fdfs中的函数名、用法表面上与fdfs_client中的一样，但是当你将项目跑起来会出现异常TypeError...
2019-06-19 03:24:42
751
原创 FastDFS安装配置，基于Ubuntu系统
什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker s...
2019-06-18 02:39:30
223
原创 使用Django内置auth.authenticate校验登录时，账号和密码均正确，返回None
问题描述使用Django内置的auth.authenticate进行验证的时候，账号和密码均正确的情况下返回None问题根源后台在创建新用户时，使用明文的方式写入数据库，所以它作为纯文本存储在数据库中，而不是散列值。当调用authenticate函数校验登录时，它将检查散列值。django2.1版本以后authticate函数也会对用户的is_active进行判断,如果is_active...
2019-06-15 12:54:18
3605
2
原创 Ubuntu下安装mysqlclient报错
Ubuntu下安装mysqlclient报错问题描述错误提示解决方案问题描述在使用Ubuntu安装mysqlclient报错，安装指令 pip3 install mysqlclient。错误提示Collecting mysqlclient Using cached https://files.pythonhosted.org/packages/f4/f1/3bb6f64ca7a4297...
2019-06-15 00:30:08
2906
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人