Python
行者小朱
stay hungry,stay foolish
展开
-
Python安装第三方库PIL时失败的解决办法
Python中,安装第三方模块,是通过setuptools这个工具完成的。Python有两个封装了setuptools的包管理工具:easy_install和pip。目前官方推荐使用pip。安装一个第三方库——Python Imaging Library,这是Python下非常强大的处理图像的工具库。一般来说,第三方库都会在Python官方的pypi.python.org网站注册,要安装一原创 2016-03-08 17:26:05 · 11167 阅读 · 0 评论 -
Python服务端开发
之前的爬虫https://blog.csdn.net/column/details/17218.html几篇文章为Python实现客户端以Get/Post等方法请求服务。最近用Python写了一个服务,在此总结一下知识点:1、Python代码中执行shell命令;2、白名单设置---通过查看客户端ip是否在服务端的list中存在;3、日志分割---引入loggin类实现日志记录,引入TimedRo...原创 2018-05-03 20:25:57 · 10832 阅读 · 0 评论 -
Python之项目路径的引入
在Python中,通过安装anaconda就可以直接引用大部分工具包了,通过IDE也不用担心引用路径的问题。但如果是引入自定义的包、项目等,路径问题稍须转弯。 下图是我Demo的项目层次结构:Demo名称为---ImportPath;一级目录下有Main.py、OuterFunc.py和InFile文件夹;InFile文件夹下有InnerFunc.py; ...原创 2018-05-03 20:11:42 · 5504 阅读 · 0 评论 -
获取Python多线程的返回值
用python多线程时,遇到需要获取每个线程返回值的问题,经查资料学习总结如下:Python中使用线程有两种方式:用方法包装线程和用类包装线程方法一、用方法包装线程thread.start_new_thread ( function, args[, kwargs] )-function 表示线程需要执行的函数-args 表示传入的参数# coding:utf-8import thread, t...原创 2018-04-21 18:39:43 · 26216 阅读 · 3 评论 -
Python3爬虫之一初试
前面系列学习了Java的爬虫,相比而言,楼主更倾向于Python简洁易懂。与Java类似,都要封装请求,Python2系列使用的是urllib2,Python3后全部融合为urllib。 下面以请求知乎首页的例子,说明Python的简单使用。# coding = utf-8from urllib import request# 目标网址url = "http://w原创 2017-08-31 13:02:10 · 825 阅读 · 0 评论 -
Python3爬虫之二网页解析【爬取自己CSDN博客信息】
与Java类比,Java的网页解析有Jsoup工具,Python的网页解析工具对应的是BeautifulSoup。详情可以阅读其官方文档。 这里以爬取我的CSDN博客信息,包括获取每篇博客的标题、链接、书写日期、访问量、评论数量等信息为例,结合BeautifulSoup,进行网页的解析,详细的说明在代码的注解中讲解。# coding=utf-8# 对CSDN博客信息进行爬原创 2017-08-31 13:18:22 · 6612 阅读 · 1 评论 -
Python3爬虫之三网页解析【爬取豆瓣Top电影】
这里再练习一下对豆瓣Top250电影的爬取,其首页长这样 我们需要的信息是电影的序号、电影的名字,因此直接按上一节的方法查看网页代码,解析网页结构,提取我们所需要的信息,完成代码如下:# coding = utf-8import refrom urllib import requestfrom urllib import errorclass DouBan原创 2017-08-31 13:46:53 · 5655 阅读 · 1 评论 -
Python3爬虫之五网页下载器的几种方法【Python使用cookie模拟登录CSDN】
(1)直接请求from urllib import request# 目标网址url = "http://www.zhihu.com"# 直接请求response = request.urlopen(url)# 获取请求的状态码,200表示成功# 读取内容if(response.getcode() == 200): print(response.read())(原创 2017-09-05 11:26:34 · 2248 阅读 · 1 评论 -
Python3爬虫之六网页的初步分析【抓取豆瓣最新电影影评并用词云显示】
在做本章内容之前,先做两件事:1、安装结巴分词jieba;2、安装云词库wordcloud一、安装结巴分词1、上Git上下载Jieba源码:https://github.com/xingzhexiaozhu/jieba2、进入对应的文件目录,执行 python setup.py install安装完成二、安装云词库1、进入http://www.lfd.uci原创 2017-09-21 13:36:31 · 2589 阅读 · 0 评论 -
Python3爬虫之四简单爬虫架构【爬取百度百科python词条网页】
前面介绍了Python写简单的爬虫程序,这里参考慕课网Python开发简单爬虫总结一下爬虫的架构。让我们的爬虫程序模块划分更加明确,代码具有更佳的逻辑性、可读性。因此,我们可以将整个爬虫程序总结为以下5个模块: 1、爬虫调度端:负责启动、停止、监控爬虫程序的运行; 2、URL管理器:负责爬虫执行过程中待爬取的URL队列和已爬取的URL队列的管理【防重复、原创 2017-09-04 19:53:48 · 2377 阅读 · 1 评论 -
Windows 下面安装和使用Python, IPython NoteBook (详细步骤)
1、下载安装Python到Python官网下载安装包,然后进行安装。(注意:Python有3.X和2.X的选择)2、安装Setuptools这里直接建立Python文件,然后复制以下代码:#!/usr/bin/env python"""Setuptools bootstrapping installer.Maintained at https://gi原创 2016-12-07 09:00:08 · 2090 阅读 · 0 评论 -
Python2.7网络爬虫---简单的爬取百度贴吧的小爬虫
断断续续的学了一下Python基础,但不常用,所以基本等于不会,于是便趁周末向各位网络大神学习一下Python爬虫来巩固一下这里以我用的是Python2.7.5版本,好像Python3跟Python2的差别蛮大,特此说明整体思路:先自定义一个爬取函数,参数列表有URL、页面起始地址和结束地址;然后分别读取每个页面,保存到本地程序代码如下:(调用函数传入链接、所要爬取的页面起始和结束地址原创 2016-06-19 16:38:26 · 1944 阅读 · 0 评论 -
ImportError: No module named matplotlib
学习《Spark机器学习》时,在Linux下运行Python shell,同时运用PyShark下使用MLlib的线性模型和决策树模型进行实验时,在Spark的安装目录下启动PySpark shell:IPYTHON=1 IPYTHON_OPTS="-pylab" ./bin/pyspark但出问题了!!!ImportError: No module named matplotlib原创 2016-06-15 17:28:13 · 2203 阅读 · 0 评论 -
Python将图片转换为字符画
最近在学习Python,看到网上用Python将图片转换成字符画便来学习一下题目意思是,程序读入一个图片,以txt格式输出图片对应的字符画,如图所示: 以下是Python代码:# coding:utf-8# 为一张图片生成对应的字符集图片from PIL import Imageimport argparse# 命令行输入参数处理parser = argpar原创 2016-04-08 14:38:51 · 9364 阅读 · 0 评论