![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python3.x/Django
userxxcc
周日
展开
-
win10 ent安装Django时报错:Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。
-Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。: 'c:\\program files\\python37\\Lib\\site-packages\\pytz'Consider using the `--user` option or check the permissions.-方法...原创 2018-11-13 10:10:33 · 1691 阅读 · 2 评论 -
【转载】【python3.x爬虫】设置IP代理
-爬取的网站采取了反爬取技术,高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封。1. 所需库:安装requests库 安装bs4库 安装lxml库2. 用法示例:函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似42.84.226.65:8888格式,...转载 2018-11-19 13:41:35 · 517 阅读 · 0 评论 -
【python3爬虫-爬文章】爬IT之家10万篇文章(GET、POST)
-1. 技术要点:多线程; Python3 GET请求(请求评论数),POST请求(将抓取的数据存入数据库); 数据持久化(将抓取数据存入MySQL)。2. 过程:采用穷举的办法(为什么用穷举,因为文章url地址是数字结尾但是又没有明显规律),开600线程,一共抓90万次,每次延时0.05秒,一共花费时间47小时。获取网页html文件(前端js未渲染的html,js渲染页面数...原创 2018-11-20 11:30:12 · 1240 阅读 · 0 评论 -
【Django2x 学习笔记 03】创建path路由url(创建新路由URL,pathinfo模式多个传参,GET模式多个传参,返回json)
注意:Django2.1.3 下环境,Python3.7,基于最新的语言和框架的特性。#1 已新建一个Django项目工程——mysite(假设:F = /django/mysite/ 目录)django-admin startproject mysite#2 创建一个简单的path路由:1. 创建一个功能模块blog:D:\python\do\django\mysite>...原创 2018-11-25 19:49:16 · 1761 阅读 · 0 评论 -
【Django2x 学习笔记 04】centos7 部署Python3.7x+Django2x+nginx+uwsgi
# 安装Python3.7.1和Django:yum install gcc-c++yum install libxml*yum install wgetpython的安装依赖包:yumgroupinstall"Developmenttools"yum install zlib-devel bzip2-devel openssl-devel ncurses-dev...原创 2018-11-26 13:59:52 · 200 阅读 · 0 评论 -
centos7升级Python3x后yum install zlib-devel报错问题
centos7 执行 yum install zlib-devel 这个命令报错:Error downloading packages:zlib-devel-1.2.7-17.el7.x86_64: [Errno 5] [Errno 2] No such file or directory因为安装了Python3x以后,python命令出了问题,需要:链路python2.7:mv /...原创 2018-11-26 13:19:56 · 4797 阅读 · 1 评论 -
随机HTTP_User_Agent(爬虫所用)
功能:随机获取HTTP_User_Agent ''' 功能:随机获取HTTP_User_Agent ''' user_agents=[ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",...原创 2018-11-26 16:01:51 · 616 阅读 · 0 评论 -
【python3 多线程 3/3】Python真正多线程之殇——GIL全局解释锁——解决GIL问题
-多线程的理解:多进程和多线程都可以执行多个任务,线程是进程的一部分。线程的特点是线程之间可以共享内存和变量,资源消耗少(不过在Unix环境中,多进程和多线程资源调度消耗差距不明显,Unix调度较快),缺点是线程之间的同步和加锁比较麻烦。Python多线程的缺陷:Python多线程并不能真正能发挥作用,因为在Python中,有一个GIL,即全局解释锁,该锁的存在保证在同一个时间只能有...原创 2018-11-27 11:40:32 · 1512 阅读 · 0 评论 -
【Django2x 学习笔记 05】面向api(模板使用者请跳过),操作已有数据库的查询、增加、修改
根据博客https://blog.csdn.net/itas109/article/details/80898943 才知道如何查找已有数据库字段。Django官方文档https://docs.djangoproject.com/zh-hans/2.0/写的真烂,愣是没找到如何操作已有数据库。给我摆个用代码创建数据库表,智障!-基于Python3.7、Django2.1.3、win10...原创 2018-11-28 16:09:21 · 278 阅读 · 0 评论 -
MVVM设计模式理解
MVVM:Model-View-ViewModelModel:对应数据层的域模型,它主要做域模型的同步。通过 Ajax/fetch 等 API 完成客户端和服务端业务 Model 的同步。在层间关系里,它主要用于抽象出 ViewModel 中视图的 Model。个人理解:后端提供API,后端服务架构是 控制器+数据模型 或者 纯控制器。View:View是作为视图模板,用于定义结构、布局。...原创 2018-12-15 09:51:19 · 869 阅读 · 0 评论 -
【Python机器人】selenium的安装并利用selenium实现【代理IP+自动登录+利用js点击和处理dom+自动填写文本+自动上传图片】
selenium官方教程:https://python-selenium-zh.readthedocs.io/zh_CN/latest/1.%E5%AE%89%E8%A3%85/0. 说明:selenium主要实现模仿人来操作来 自动填写数据,点击按钮,操作dom,缩放浏览器,切换浏览器标签,扩展外部js功能等。selenium不好操作的功能可以用js来操作,比如 自动填写数据,点击按钮,...原创 2019-01-09 17:54:13 · 1143 阅读 · 0 评论 -
【python爬虫-爬微博】爬取王思聪所有微博数据
1. 准备:代理IP 。网上有很多免费代理ip,如西刺免费代理IP http://www.xicidaili.com/,自己可找一个可以使用的进行测试; 抓包分析 。通过抓包获取微博内容地址。当然web下的api地址可以通过浏览器获得。以下是通过浏览器调试获得的接口:个人信息接口:微博列表接口:2. 完整代码:import urllib.requestimpo...翻译 2018-11-21 15:23:10 · 7296 阅读 · 2 评论 -
【python3爬虫】Scrapy Win10下安装与新建Scrapy项目
详细安装教程可参考:http://www.runoob.com/w3cnote/scrapy-detail.htmlhttps://segmentfault.com/a/1190000013178839其他教程:https://oner-wv.gitbooks.io/scrapy_zh/content/%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5/%E9...原创 2018-11-21 09:53:08 · 1028 阅读 · 0 评论 -
【Django2x 学习笔记 01】 Django2+官方中文教程
-Django2+需要python3.5+-本人做PHP,学习Python爬虫做点副业。凡是能作为后端的语言都能写爬虫,不要比较哪个语言更牛逼,做就完了。-学习目标:0. 主要学习数据库驱动的精髓,不管哪种后端语言全部面向api;1. 比较与Laravel设计思想;2. Django项目搭建与环境部署;3. url路由规则与get/post请求编写,参数接收...原创 2018-11-13 10:37:00 · 451 阅读 · 0 评论 -
【Django2x 学习笔记 02】win10/Mac下Django及新项目部署
1. 安装Python的Django,貌似是Django命令环境,并不是是项目。(使用--user是因为python安装到了win的个人用户下)pip install --user Django==2.1.3如果本教程时间久远,你可以用命令pip install --user Django== 来浏览全部的版本标号2. 获取Django项目(请在你需要另外放置代码的文件夹下来拉取gi...原创 2018-11-13 10:53:18 · 596 阅读 · 0 评论 -
【Python3爬虫-爬小说】爬取某小说网小说1/2--利用网址顺序抓
声明:爬虫为学习使用,请各位同学务必不要对当放网站或i服务器造成伤害。务必不要写死循环。-练习目标:爬取https://b.faloo.com/BuyBook.aspx?id=526024 《我的高中女友门》-解释请看代码注释:主要是网页是xxx/1.html,xxx/2.html这种数字递增的网页;小说内容在id=content这个地方。from bs4 import ...原创 2018-11-13 21:50:34 · 1482 阅读 · 0 评论 -
【python3 多线程 1/3】线程异步(推荐使用)
阅读本文之前请阅读:Python真正多线程之殇——GIL全局解释锁 https://blog.csdn.net/weixin_41827162/article/details/84563235 -python3有threading和_thread两种线程写法,推荐使用threading。开多线程就是为了使用多线程的异步能力来同时执行多个线程。1. threading方法:以下代...原创 2018-11-15 15:05:04 · 3934 阅读 · 0 评论 -
【python3 多线程 2/3】线程同步
阅读本文之前请阅读:Python真正多线程之殇——GIL全局解释锁 https://blog.csdn.net/weixin_41827162/article/details/84563235 -1. 认识线程同步现象:在https://blog.csdn.net/weixin_41827162/article/details/84104421线程异步中,将方法1中:建多个线程...原创 2018-11-15 15:13:50 · 448 阅读 · 0 评论 -
【python3爬虫】安装beautifulsoup4 、Scrapy、selenium、Django
以win10为例:1)安装exe:下载python-3.7.6-amd64.exe ,安装时勾选path和all user;2)777授权:安装好后,将文件夹【Lib】【libs】【Scripts】的属性——安全——组与安全-—Users——高级,勾选“完全控制”、“修改”,保存即可。2-1)安装C++依赖::Microsoft Visual C++ Build Too...原创 2018-11-15 15:25:37 · 552 阅读 · 0 评论 -
【Python3爬虫-爬小说】爬取某小说网小说2/2--利用下一页抓
声明:爬虫为学习使用,请各位同学务必不要对当放网站或i服务器造成伤害。务必不要写死循环。-详细思路参照代码注释:如下:网址无任何规律,但是页面有一个下一页。那是要抓到下一页的地址就能把小说全部抓取。-from bs4 import BeautifulSoupimport urllib.requestimport redef down(url, num): ...原创 2018-11-14 11:13:46 · 1281 阅读 · 0 评论 -
【Python3爬虫-爬图片】爬中国国家地理全站1.7万张图片
声明:爬虫为学习使用,请各位同学务必不要对当放网站或i服务器造成伤害。务必不要写死循环。-思路:古镇——古镇列表(循环获取古镇详情href)——xx古镇详情(获取所有img的src)-需要安装requests:pip install requests# 低版本Python需要去除SSL验证:import ssl# 获取网页ssl._create_default_ht...原创 2018-11-14 15:28:13 · 1528 阅读 · 0 评论 -
python3两个while循环不能套在一起,否则会产生内循环参杂在外循环,造成循环次数不够
-python3两个while循环不能套在一起,否则会产生内循环参杂在外循环,造成循环次数不够(循环跳跃)。这可能是两个while嵌套在一起差生了异步。-可以用for x in range(min, max)和while else循环参起来,或者全部用for x in range(min, max)-...原创 2018-11-14 17:28:54 · 1236 阅读 · 0 评论 -
PHP+Python3+MySQL做自动化爬虫系统(爬头条投放广告的实时数据)
这里主要谈思路:1)利用Python3良好的爬虫特性,进行原始数据的爬取(这里爬虫数据爬的是头条api,利用构造虚拟浏览器+cookie+GET,进行抓数据,这样简单一点。模拟登录则比较难,不如分析api和cookie来得爽。);2)利用世界上做好的语言PHP+MySQL做数据存储与数据清洗;3)为什么数据存储不用Django——Django比起TP5.1和Laravel差多了,但是D...原创 2019-03-04 15:51:26 · 2092 阅读 · 0 评论