Python
Young-zhou
这个作者很懒,什么都没留下…
展开
-
Windows下Python3安装BeautifulSoup4显示'You are trying to run the Python 2 version of Beautiful Soup under
今天安装BeautifulSoup4的时候一直出现这种错误,可是我的版本是Python3.6,我以为是我的Python版本高了,换成3.5还是出现这种问题,一开始搜到这篇博文,但是没有试试,造成浪费时间,以后不能太主观的否定了,多试试。转载自:http://www.cnblogs.com/Dragon5/p/6498422.html Windows下安装BeautifulSoup4显示’Yo原创 2017-08-21 09:00:36 · 1429 阅读 · 1 评论 -
爬虫从头学之Requests+正则表达式爬取猫眼电影top100
爬取思路当我们想要爬取一个页面的时候,我们要保证思路清晰,爬虫的思路分四个步骤,发起请求,获取响应内容,解析内容,存储内容。根据这四个内容我们的思路就很清晰。以下为具体步骤使用requests库爬出单页内容根据返回值使用正则表达式分析保存至文件对目标网站进行循环以及多线程爬取项目实战部分使用requests库爬出单页内容爬取url:http://maoyan.com...原创 2018-06-09 14:52:24 · 819 阅读 · 0 评论 -
爬虫从头学之爬虫基本原理
什么是爬虫:请求网站并提取数据的自动化程序爬虫基本流程:发起请求:通过Http库向目标站点发起请求,即发送一个Request,请求包括额外的headers等信息,等待服务器响应。获取响应内容如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。解析内容得到的内容...原创 2018-06-09 09:58:03 · 399 阅读 · 0 评论 -
Python爬虫之scrapy--01爬取伯乐网文章
github:https://github.com/Link-Secret/Python-crawler准备工作虚拟环境 mkvirtualenv article_spider安装scrapy pip install scrapy(可以选择豆瓣源,豆瓣源速度比较快) 如果安装Twisted出错,下载Twisted对应的whl文件安装即可创建...原创 2018-04-29 09:30:11 · 262 阅读 · 0 评论 -
Python系列之MongoDB--01.基本知识
mongodb的下载与安装(请下载3.0.15版本的避免不必要的错误) 安装步骤 1.安装比较简单,中间主要是选择“Custom”自定义 安装路径修改下:D:\MongoDB,直接放在D盘根目录下然后不断“下一步”,安装至结束。2.在MongoDB下创建data,在data下再创建db:D:\MongoDB\server\data3.打开CMD,进入D:\M...原创 2018-04-27 16:05:06 · 231 阅读 · 0 评论 -
Python系列之MySQL--01.基础知识
1.安装Python下载地址:www.python.com安装之后测试安装成功的方法:打开命令行窗口,输入python命令后,回车之后会显示Python版本等信息,此时说明安装成功2.安装依赖Python-mysql安装Pip install mysql-clientPip地址: https://pypi.python.org/pypi/mysqlclient...原创 2018-04-27 15:59:43 · 204 阅读 · 0 评论 -
Python系列之Redis--03.Redis实战项目
效果展示数据类型:新闻数据 hash新闻id String分页数据 List排序 Sorted set实现功能关键代码新闻的新增# 新增新闻数据def add_news(self, news_obj): # 获取新闻id,自增 int_id = self.r.incr('news_id') # 拼接新闻数据hash key(news:2) ...原创 2018-04-19 18:08:48 · 1867 阅读 · 0 评论 -
Python之虚拟环境
虚拟环境的作用 虚拟环境可以完全隔绝别的python项目所用的依赖配置对当前的项目的影响 基本知识创建虚拟环境cmd 命令行输入 pip install virtualenv下载相应的包 virtualenv test创建虚拟环境 Using base prefix ‘d:\program files (x86)\python\pyt...原创 2018-04-19 18:05:59 · 180 阅读 · 0 评论 -
Python之虚拟环境
虚拟环境的作用 虚拟环境可以完全隔绝别的python项目所用的依赖配置对当前的项目的影响 基本知识创建虚拟环境cmd 命令行输入 pip install virtualenv 下载相应的包 virtualenv test 创建虚拟环境 Using base prefix ‘d:\program files (x86)\pytho...原创 2018-04-16 18:20:06 · 294 阅读 · 0 评论 -
Python系列之Redis--01.Redis
1 . Redis 简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库 Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化...原创 2018-04-16 11:29:48 · 201 阅读 · 0 评论 -
Python系列之Redis--02.Redis与Python操作Redis
1 . Redis 简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库 Redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合,位图,hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化...原创 2018-04-16 11:18:49 · 327 阅读 · 0 评论 -
win10下scrapy的安装
转载自:http://blog.csdn.net/zjiang1994/article/details/52689144写在前面最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。 没想到啊,这坑太深了。。。看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,pip install Scrapy 1 这里写图片描述坑出现了。。。。运行转载 2017-11-05 15:01:55 · 382 阅读 · 0 评论 -
Python 使用Anaconda import SSL DLL load failde:找不到指定模块
File "C:\Users\Tf011\Anaconda3\Lib\ssl.py", line 98, in <module> import _ssl # if we can't import it, let the error propagateImportError: DLL load failed: 找不到指定的模块。在Python代码...原创 2019-05-21 16:43:42 · 7153 阅读 · 4 评论