python
哈理工胡歌
何以解忧,唯有编程
展开
-
scrapy爬虫shell用法
一、scrapy shell +url二、from scrapy.linkextractors import LinkExtractor三、print response.xpath('//div[@class="pagecenter p3"]//strong/text()').extract()[0],xpath中为正则匹配四、正则匹配可以在Google浏览器中用Xpath h...原创 2018-08-16 17:45:43 · 825 阅读 · 0 评论 -
Linux上的redis远程连接Windows上的redis
报错Could not connect to Redis at 192.168.0.115:6379: Connection reset by peernot connected>(error) DENIED Redis is running in protected mode because protected mode is enabled, no bind address w...原创 2018-08-22 20:52:20 · 2701 阅读 · 1 评论 -
安装scrapy-redis,用pip install scrapy-redis 命令报如下错
安装scrapy-redis,用pip install scrapy-redis 命令报如下错Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3....原创 2018-08-23 11:30:41 · 1697 阅读 · 0 评论 -
爬取豆瓣电影中:华语、欧美、韩国、日本电影每个标签下按评价排序的全部电影。
(1)每个电影的电影名、导演、编剧、主演、类型、国家、上映日期、片长,电影评分,以及每个星级评分的百分比数据。(2)每个电影热门点评中的前100个评分及其评分人。(3)进入每个评分人的主页,爬取其看过的电影信息,以及对电影的评分。(少于300部则全部爬取,多于300部则仅爬取前300个)将上述数据均写入数据库。三张表:电影信息,用户(用户名、主页),用户对电影的评分表。写入数据时要注意...原创 2018-08-20 14:36:40 · 5281 阅读 · 0 评论 -
python爬取豆瓣电影
如果爬取豆瓣电影时,IP被封,就连接其他wifi爬,比如手机热点。好可以使用付费代理IP爬取豆瓣电影中:华语、欧美、韩国、日本电影每个标签下按评价排序的全部电影。需要如下信息:(1)每个电影的电影名、导演、编剧、主演、类型、国家、上映日期、片长,电影评分,以及每个星级评分的百分比数据。(2)每个电影热门点评中的前100个评分及其评分人。(3)进入每个评分人的主页,爬取其看过的电影信...原创 2018-08-21 18:13:46 · 1423 阅读 · 0 评论 -
Python面试题
一、Python不支持的数据类型有 AA、charB、floatC、intD、list二、What gets printed?() Ckvps = { '1' : 1, '2' : 2 } theCopy = kvps.copy() kvps['1'] = 5 sum = kvps['1'] + theCopy['1'] print sum A、1 B、2...原创 2018-08-25 22:08:16 · 942 阅读 · 0 评论 -
python词云,用jieba切分中文文章,解决wordcloud中文乱码问题
1、读取中文文件、精准切分文章,切分后是生成器类型,利用.join()函数转换为str类型f = open(u'txt/AliceEN.txt','r').read()wordlist = jieba.cut(f, cut_all=False)word_string = " ".join(wordlist)2、配置词云字体,如果不配置font_path,中文字体会变成方框。'txt...原创 2018-12-21 15:28:10 · 1411 阅读 · 0 评论 -
pandas、matplotlib做柱形统计图,x轴中文乱码
# -*- coding: utf-8 -*-import pandas as pdimport matplotlib.pyplot as pltimport matplotlibfrom matplotlib.font_manager import *myfont = matplotlib.font_manager.FontProperties(fname='/System/Lib...原创 2018-12-21 16:51:37 · 2057 阅读 · 0 评论 -
解决python爬取ajax/json网站时,报415错误
举例网站https://www.lovelove.com.cn/list?navigationType=ENGAGEMENT_RING&series=原因:头部没加入"content-length": "93","content-type": "application/json;charset=UTF-8",url = "https://www.lovelove.com....原创 2018-12-25 19:58:30 · 1307 阅读 · 0 评论 -
python爬虫爬取qq音乐巅峰榜热歌歌词,jieba中文分词,词云展示
先看结果1、获取列表页信息,url为https://c.y.qq.com/v8/fcg-bin/fcg_v8_toplist_cp.fcg?tpl=3&page=detail&date=2019_02&topid=26&type=top&song_begin=0&song_num=30&g_tk=5381&loginUin=0...原创 2019-01-17 22:29:30 · 4642 阅读 · 0 评论 -
scrapy爬虫用到的比较好用的chrome扩展,Google安装Xpath helper
一、XPath-Helper_v2.0.2.crx (2018-4-24) 链接:https://pan.baidu.com/s/1NIFnuSM_iq86y5N6F-35vw 密码:99op二、JSONView_v0.0.32.3.crx(2018-4-24) 链接:https://pan.baidu.com/s/1ZJ3BDBhjA-00k6jNiPPHFw 密码:b8be三、...原创 2018-08-16 17:01:53 · 965 阅读 · 0 评论 -
运行django程序出错‘str’ object has no attribute '_meta'
报错原因是传入的是类对象,可你传进的参数是字符串,找到传参的位置改过来即可原创 2018-08-03 14:39:56 · 17189 阅读 · 0 评论 -
django使用mysql开发(Linux)
一、安装mysqlpip install mysql-python二、登录mysql命令 mysql -uroot -pmysql默认密码为mysql三、查看数据库列表show databases删除不要的数据库drop+数据库名称打开use+数据库名称创建数据库create database 数据库名 charset=utf8,此处一定要设置数据库编码utf8...原创 2018-08-03 14:48:13 · 579 阅读 · 0 评论 -
比较“+”,insert( )和append( )的速度,利用循环向列表中增加10000个元素,比较几种方法的运行时间。
一.insert()函数描述Python 列表 insert() 方法将指定对象插入到列表中的指定位置。语法insert() 方法语法:L.insert(index,obj)参数index -- 对象obj需要插入的索引值。obj -- 要插入列表中的对象。返回值该方法没有返回值,但会在列表指定位置插入指定对象。二.append函数append() 方法用于在列表末尾添加新的对象。append()...原创 2018-03-20 12:30:34 · 4712 阅读 · 0 评论 -
python3在windows系统下 安装pygame
如果你是新手,请先安装好pythn3,安装Python3时注意勾选pip安装选项安装好pip后,执行pip install pygame即可安装pygame如果显示没安装成功,则需要去下载whl文件,手动下载安装,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame如果没有wheel,安装wheel,安装wheel的方法是pip i...原创 2018-07-29 11:53:27 · 1948 阅读 · 0 评论 -
python在shell里如何写for循环
一、如图,先写一行for循环,记得写“:”,然后在下行缩进写逻辑,然后点两下回车,程序就会运行了方法二,写脚本注意权限用chmod命令、python文件位置用which python查询,运行./fortest或python fortest方法三print([bb for bb in list1]) ...原创 2018-08-03 17:38:15 · 14902 阅读 · 0 评论 -
python报错Non-ASCII character '\xe5' in file的解决方法
在文件首行加#coding=utf-8,一定要在最顶行添加原创 2018-08-03 20:51:31 · 32409 阅读 · 1 评论 -
Python语言,Linux下进程的创建,Windows下进程的创建
1.Linux下进程的创建#encoding=utf-8import osimport timesonflagid=os.fork()num=10if sonflagid==0: print("子",os.getpid(),"父",os.getppid()) global num num+=1 print(num)else: global ...原创 2018-07-31 13:24:09 · 513 阅读 · 0 评论 -
python语言windows进程池中的Queue消息队列,进程通信
用进程池建立两个进程,实现进程间互相接收发送消息。如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:RuntimeError: Queue objects should only be shared between processes through...原创 2018-07-31 14:52:00 · 986 阅读 · 0 评论 -
在git本地库中开发程序,然后推到github,从github拉项目
登录自己git账号一、注册登录github网站,点击+号New repoaitory,创建新项目二、点击绿色Clone or download查看链接三、打开虚拟机ubuntu命令选择合适目录,输入git clone +链接网址四、新建项目文件夹mkdir 项目名称创建测试文件提交到暂存区提交到仓库提交到远程仓库五、在本地...原创 2018-08-09 11:21:22 · 174 阅读 · 0 评论 -
Django administration的使用(python)
一、创建admin用户,到项目所在目录下输入python manage.py createsuperuser命令,我的项目名为djtest。然后输入新的用户名,密码等信息。二、运行项目命令python manage.py runserver三、Ctrl+点击url网址,默认端口为8000四、在url网址后加上/admin,回车五、把Django administ...原创 2018-08-02 11:16:38 · 3196 阅读 · 0 评论 -
pygame做飞机大战游戏,含有图片源码
一、安装pygame,https://blog.csdn.net/qq_36045385/article/details/81269622二、效果图三、源码,下载地址链接:https://pan.baidu.com/s/1XwSfOIL1_ZbGYP8iX5-hSQ 密码:xbpu#encoding=utf-8import pygameimport timeimport r...原创 2018-08-02 11:55:20 · 11600 阅读 · 1 评论 -
python的django模块运行报错TemplatDoesNotExist at /
在settings.py文件中配置在那个目录下找模板更改dirs为模板路径,改为自己模板路径查看loader.get.template()中的路径是否写的正确原创 2018-08-02 16:13:42 · 613 阅读 · 0 评论 -
怎样下载清华大学出版的书的课件,举例python程序设计董付国主编课件下载
进入网站http://www.tup.com.cn/index.html搜索书后的ISBN码,例如9787302436515点击书进入下图页面点击资源下载,选择课件下载,此时会弹出下载框下载后需要解压密码,python程序设计的密码为7116若下载其他书籍,想获取密码,要先扫二维码关注公众号,在公众号中发送:课件 # 9787302436515...原创 2018-03-16 13:38:23 · 3404 阅读 · 2 评论