- 博客(16)
- 收藏
- 关注
原创 Bootstrap栅格系统
BootstrapBootstrap官方下载页面Bootstrap基本模板<!DOCTYPE html><html lang="zh-CN"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge">...
2019-07-23 15:50:54 145
原创 最新版模拟登陆人人视频(电脑端与移动端)
分析需要POST提交哪些数据 很好,人人网并没有针对Form Data 进行加密处理,我们只需要发出一个的POST携带对应的Form Data信息即可 通过观察发现,Form Data提交的数据量远大于我们...
2019-07-01 02:06:00 997
原创 爬取斗鱼直播的主播信息(requests与selenium两种方式)
使用selenium爬取斗鱼直播 以前一直知道find_elements_by_xpath速度很慢(需要加载整个文档),但是一直没有太深刻的印象,直到我写到这个爬虫,先定位父元素再循环定位里面的子元素使用xpath会报错(找不到目标元素)。from selenium import webdriver...
2019-07-01 02:05:41 1242
原创 selenium不再支持phantomjs;chrome、firefox推出无头浏览器模式
问题描述 好久没碰selenium了,今天重新试了试,发现driver = webdriver.PhantomJS()居然报错了!UserWarning: Selenium support for PhantomJS has been deprecated, please use headless ve...
2019-06-30 16:45:48 623
原创 requests爬取图片(百思不得其姐)
最原始的方式以二进制写入文件保存图片import reimport osimport requestsclass BsbdqjSpider: def __init__(self): self.base_url = "http://www.budejie.com/" self.headers = { "User-Agent"...
2019-06-29 19:34:47 233
原创 使用requests爬取豆瓣电视
暴力点直接上代码爬取的过程中发现不涉及cookie和ipimport jsonimport requestsimport geventfrom gevent import monkeymonkey.patch_socket()class DoubanTVSpider: def __init__(self): self.base_url = "https:...
2019-06-28 15:40:18 461
原创 抓取百度翻译的接口(通过反编译js获取token、gtk、sign等签名信息)
废话少说直接上代码。pc版baidutranslator.pyimport requestsimport jsonimport reimport execjsclass BaiduTranslator: def __init__(self): self.trans_str = None self.trans_url = "https://f...
2019-06-27 12:47:39 3680 3
原创 使用PyCharm进行正则替换,将request headers转换为字典类型
问题描述使用网络爬虫伪造请求头的时候,经常要讲浏览器上的请求头复制下来使用,这样就会产生一个问题,将复制的请求头转换为实际能够使用的字典类型,实在是太繁琐了。解决方案我们可以借助Pycharm自带的正则替换的方式一键转换。新建一个文件,在文件中创建一个字典并将复制的request headers填入其中,这时候Pycharm会报错,请忽略!使用快捷键ctrl+R,调出替换框,选择Ra...
2019-06-26 12:41:31 2609 1
原创 Requests网络爬虫简述
什么是网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,是一种按照一定的规则,自动地抓取互联网信息的程序。 只要是浏览器能做的事情,原则上,爬虫都能够做爬虫的更多用...
2019-06-22 19:32:05 370
原创 MarkdownPad 2在win10下报错An error occurred with the HTML rendering component。
问题描述在win10系统下安装MarkdownPad 2后,运行程序出现错误提示HTML Rendering ErrorAn error occurred with the HTML rendering component.This issue may be fixed by installing a missing component.Would you like to learn mor...
2019-06-21 16:31:57 1808
原创 django ORM多表之间的联系(一对多,一对一)
问题描述:有三张表,表1跟表2是一对多的关系,表2跟表3是一对一的关系,如何将表1跟表3连接起来解决方案用prefetch_related连接表1跟表2,如果此时再创建新的QuerySet会打乱prefetch_related进行的SQL优化,这时候可以使用django.db.models.Prefetch来实现,Prefetch这个提前定义好QuerySet。在Prefetch使用se...
2019-06-20 02:11:17 271
原创 在Django中启动FastDFS遇到的一系列问题
问题描述在python3.7版本中,导入fdfs_client模块失败解决方案移除所有已安装的fdfs模块,安装py3Fdfs模块from py3Fdfs.client import Fdfs_client即可,但是你以为这样就结束了?恭喜你现在正是入坑。因为版本更替的原因py3Fdfs中的函数名、用法表面上与fdfs_client中的一样,但是当你将项目跑起来会出现异常TypeError...
2019-06-19 03:24:42 766
原创 FastDFS安装配置,基于Ubuntu系统
什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker s...
2019-06-18 02:39:30 228
原创 使用Django内置auth.authenticate校验登录时,账号和密码均正确,返回None
问题描述使用Django内置的auth.authenticate进行验证的时候,账号和密码均正确的情况下返回None问题根源后台在创建新用户时,使用明文的方式写入数据库,所以它作为纯文本存储在数据库中,而不是散列值。当调用authenticate函数校验登录时,它将检查散列值。django2.1版本以后authticate函数也会对用户的is_active进行判断,如果is_active...
2019-06-15 12:54:18 3659 2
原创 Ubuntu下安装mysqlclient报错
Ubuntu下安装mysqlclient报错问题描述错误提示解决方案问题描述在使用Ubuntu安装mysqlclient报错,安装指令 pip3 install mysqlclient。错误提示Collecting mysqlclient Using cached https://files.pythonhosted.org/packages/f4/f1/3bb6f64ca7a4297...
2019-06-15 00:30:08 2970 3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人