Python
周闖
沧海横流,方显出英雄本色。
展开
-
写出pythonic的代码
写出pythonic的代码什么是pythonic常用的写法1. 程序必须先让人读懂,然后才能让计算机执行。2. 代码规范2.1 编码规则2.2 命名规范3. 常用代码技巧3.1 pass语句提供占位符3.2 善用推导式1.列表推导式什么是pythonicThe Zen of PythonThe Zen of Python, by Tim PetersBeautiful is bette...原创 2019-12-15 23:16:20 · 288 阅读 · 0 评论 -
利用Selenium爬取淘宝商品
淘宝页面数据是采用Ajax获取的,但是这些Ajax接口参数比较复杂,可能会加入加密秘钥。对于这种页面,最方便的方法是通过selenium。可以用Selenium来模拟浏览器操作,抓取淘宝商品信息。1.目标利用selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、商品图片、店铺所在地等信息,并将其保存到MongoDB数据库中。2、准备工作配置好Chro...原创 2019-03-03 20:30:31 · 1225 阅读 · 0 评论 -
Matplotlib 学习笔记
Matplotlib是一个Python 2D绘图库,可以生成各种硬拷贝格式和跨平台交互式环境的出版物质量数据。Matplotlib可用于Python脚本,Python和IPython shell,Jupyter笔记本,Web应用程序服务器和四个图形用户界面工具包。一 简介:Matplotlib试图让简单易事的事情成为可能。你只需几行代码即可生成绘图,直方图,功率谱,条形图,误差图,散点图等...原创 2019-02-09 15:43:36 · 1137 阅读 · 0 评论 -
NumPy 学习笔记
NumPy是一个功能强大的Python库,主要用于对多维数组执行计算。NumPy这个词来源于两个单词 Numerical和Python。NumPy提供了大量的库函数和操作,可以帮助程序员轻松地进行数值计算。Numpy 有两种基本对象:ndarray (N-dimensional array object)多维数组:存储单一数据类型的多维数组ufunc (universal functi...原创 2019-02-03 15:38:05 · 277 阅读 · 0 评论 -
mitmdump爬取"京东读书校园版"App电子书信息
京东阅读校园版(汇云书舍)专为高校读者提供电子书畅读服务,拥有20万正版数字图书资源。App内有很多有质量的学习书籍供免费阅读。下面通过抓取其App上的电子书信息1.爬取目标我的爬取目标是App内计算机板块的电子书信息,并将其保存到MongoDB,如图1所示把图书的名称、作者、字数、上架时间、简介爬取下来,App操作手动进行。mitmdump负责捕捉响应并将数据提取保存。2.准备工作...原创 2019-01-28 00:57:15 · 1588 阅读 · 0 评论 -
Anaconda 安装+使用+换源+更新
anaconda官网下载安装:https://www.continuum.io/downloads/anaconda用法:查看已经安装的包:pip list 或者 conda list安装和更新:pip install requestspip install requests --upgrade或者conda install requestsconda upda...原创 2018-07-22 21:50:00 · 934 阅读 · 0 评论 -
爬取豆瓣电影top250
代码# Author:ZhouChuang# coding:utf-8from bs4 import BeautifulSoupimport requestsimport timeheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,...原创 2018-08-09 18:24:00 · 857 阅读 · 1 评论 -
爬取转转商品信息
需求*爬取若干页上的商品*将网页链接保存到MongoDB数据库中*能获取相应商品的详细信息,例如:标题、发布时、价格、浏览量等开发环境Win10 64bit、Python3.7、PyCharm代码1.channel_extract.py(为了获取分页的链接)# Author:ZhouChuang# coding:utf-8from bs4 import B...原创 2018-08-11 23:06:00 · 906 阅读 · 0 评论 -
使用Python绘制肖像词云
准备阶段安装wordcloud库 (pip install wordcloud) 中文分词需要jieba库 下载制作词云使用的文字(.txt) 一张背景图 环境(pycharm)1.处理背景图片背景需要使用色差较大的图片 原图:为保护个人隐私 ,本图片经过处理使用Photoshop 调整阈值 处理后孙泓杰.png2.生成英文...原创 2018-09-15 20:57:00 · 2502 阅读 · 1 评论 -
分析Ajax 爬取今日头条图片
1.准备工作安装requests库2.抓取分析 在搜索入口输入“中秋”二字,打开开发者工具,查看所有网络请求,切换到XHR过滤选项卡,出现一个Ajax请求,点击data字段,发现有许多条数据。点开数据,发现一一对应。抓取分析 所要抓取的图片就藏在image_list字段中,它是由列表形式构成,其中包含了组图的所有图片列表。如图所示。图片列表信息...原创 2018-09-25 13:32:00 · 272 阅读 · 0 评论 -
Flask框架基础(二)
##1 程序的基本结构###1.1初始化所有Flask 程序都必须创建一个程序实例。Web 服务器使用一种名为Web 服务器网关接口(Web Server Gateway Interface,WSGI)的协议,把接收自客户端的所有请求都转交给这个对象处理。程序实例是Flask 类的对象。from flask import Flaskapp = Flask(__name__)传入Flas...原创 2018-11-04 19:09:06 · 309 阅读 · 0 评论