python
夏微凉秋微暖
这个作者很懒,什么都没留下…
展开
-
python爬虫防止IP被封的一些措施
在编写爬虫爬取数据的时候,尤其是爬取大量数据的时候,因为很多网站都有反爬虫措施,所以很容易被封IP,就不能继续爬了。本文就如何解决这个问题总结出一些应对措施,这些措施可以单独使用,也可以同时使用,效果更好。伪造User-Agent在请求头中把User-Agent设置成浏览器中的User-Agent,来伪造浏览器访问。比如:headers = {'User-Agent':'Mozilla/5.0 (...原创 2021-04-14 18:09:47 · 277 阅读 · 0 评论 -
python将excel的数据导入mysql
主要引用的包有:MySQLdbxlrd代码为:# coding=utf-8import MySQLdbimport xlrdbook = xlrd.open_workbook("f:\\test\\excel.xlsx")sheet = book.sheet_by_name("Sheet1")conn= MySQLdb.connect( ho原创 2017-05-19 09:26:45 · 435 阅读 · 0 评论 -
pycharm安装mysql-python报错
今天用pycharm安装mysql-python时总是报错:总是提示什么c++/9.0什么的,不过应该这么解决:下载:http://www.codegood.com/download/11/(python-2.7/64位)下载后记得右键-属性-兼容性win7,并且以管理员身份运行。不然安装总是提示失败原创 2017-04-25 16:01:58 · 2450 阅读 · 0 评论 -
python更新pip国内下载源
国内目前有这几个:http://pypi.douban.com/simple/ 豆瓣http://mirrors.aliyun.com/pypi/simple/ 阿里http://pypi.hustunique.com/simple/ 华中理工大学http://pypi.sdutlinux.org/simple/ 山东理工大学http://pypi.mirrors.ustc.e原创 2017-05-19 09:20:08 · 2916 阅读 · 0 评论 -
python导入requests包报错UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0
原来发现是因为路径下是有中文!!!!1、把上面的temp_dir那段代码修改一个不包含中文的目录,修改这段代码的文件位置在D:\Python27\Lib\site-packages\pip-6.1.1-py2.7.egg\pip\download.py(位置由个人python安装目录决定)2、修改编码为gbk,修改D:\Python27\Lib\ntpath.py(位置由个人p原创 2017-12-07 14:56:58 · 738 阅读 · 0 评论 -
python打包成exe文件
首先:安装:pyinstaller如图:然后找到你的python的路径:比如我的在这:I:\Python27\Lib\site-packages\PyInstaller最后只要在该路径下打:pyinstaller -F -w 文件名.py(pyinstaller -F -w abc.py)就会生成dist和build两个文件,可执行的exe文件就在dis原创 2017-12-07 16:17:49 · 256 阅读 · 0 评论 -
python爬虫防止IP被封
在编写爬虫爬取数据的时候,尤其是爬取大量数据的时候,因为很多网站都有反爬虫措施,所以很容易被封IP,就不能继续爬了。本文就如何解决这个问题总结出一些应对措施,这些措施可以单独使用,也可以同时使用,效果更好。伪造User-Agent在请求头中把User-Agent设置成浏览器中的User-Agent,来伪造浏览器访问。比如:headers = {'User-Agent':'Mozilla/5.0 (...原创 2018-03-13 10:58:59 · 1147 阅读 · 0 评论 -
使用python进行基本的爬虫
python版本:2.7一:爬取豆瓣接口使用到了urllib2、jsonimport urllib2import jsontry: response = urllib2.urlopen('https://api.douban.com/v2/book/1220562') html = response.read() print html hjson ...原创 2019-03-01 10:38:00 · 135 阅读 · 0 评论 -
python爬虫之PyQuery的基本使用
PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了。官网地址:http://pyquery.readthedocs.io/en/latest/jQuery参考文档:...转载 2019-03-12 18:13:46 · 340 阅读 · 0 评论 -
python的安装说明
1.下载python地址:https://www.python.org/downloads/可以选择下载2.7或3的版本2.安装时一定要勾选上加入系统路径 in path3.IDE工具选择可以使用pycharm地址:https://www.jetbrains.com/pycharm/download/其中:(1)社区版免费(2)专业版需要激活,地址为:http://...原创 2019-03-27 09:44:46 · 103 阅读 · 0 评论 -
python使用MySQLdb报an integer is required
检查了语句,也看了数据库,都没有int类型了,最后发现:'''数据库配置'''conn = MySQLdb.connect( host='localhost', port=3306, -------------------------------port接口这是数字!!! user='root', passwd='123456', db='pyth原创 2017-04-26 09:49:00 · 2740 阅读 · 0 评论 -
python2.7下,使用pycharm更新pip后,命令框还是老版本的pip
解决方案如下:下载最新的pip:https://pypi.python.org/pypi/pip/#downloads下载:pip-9.0.1.tar.gz (md5, pgp)解压后,cmd进入解压的文件目录下,通过 python setup.py install 命令安装pip,之后将Scripts的路径添加到Path的里。原创 2017-04-19 11:46:31 · 2679 阅读 · 0 评论 -
python的基础爬虫
以爬取百度页面为例子,输出页面信息以及保存文件#!/user/bin/env python#coding=utf-8import urllib2def linkBaidu(): url = 'http://www.baidu.com' try: response = urllib2.urlopen(url,timeout=3)原创 2017-03-30 15:57:27 · 231 阅读 · 0 评论 -
python随机选球的概率问题
#!/user/bin/env ptthon#coding=utf-8import randomclass selectBall(object): def __init__(self): self.run() def run(self): while True: numStr = raw_input("请输入要测试原创 2017-03-30 15:16:25 · 1878 阅读 · 0 评论 -
python黄金分割,斐波那契数列
#!/user/bin/env python#coding=utf-8class fuct(object): '''返回一个黄金分割数列''' def __init__(self): self.fList = [0,1] self.main() def main(self): listLen = raw_input("原创 2017-03-30 14:44:44 · 2018 阅读 · 0 评论 -
python的head标识
#!/usr/bin/env python#-*- coding: utf-8 -*-__author__ = 'hstking [email protected]'pcUserAgent = {"safari 5.1 – MAC":"User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWe原创 2017-03-30 16:33:50 · 16643 阅读 · 0 评论 -
python修改head标识来爬取页面
#!/usr/bin/env python#-*- coding: utf-8 -*-import urllib2import userAgents'''userAgents.py是个自定义的模块,位置处于当前目录下 '''class Urllib2ModifyHeader(object): '''使用urllib2模块修改header ''' def __init原创 2017-03-30 18:08:07 · 1314 阅读 · 0 评论 -
python日志管理
myLog.py#!/usr/bin/env python# -*- coding:utf-8 -*-import loggingimport getpassimport sysimport time# 定义MyLog类class MyLog(object): '''这个类用于创建一个自用的log ''' def __init__(self): #类MyLog的构造原创 2017-03-31 09:48:38 · 306 阅读 · 0 评论 -
python的日期显示
import timeprint time.time()print time.localtime()'''日期的格式转换,显示的时间为YYYY-mm-dd HH:MM:SS格式'''print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime())for i in range(100): time.sleep(i*0.01)原创 2017-03-31 16:32:49 · 572 阅读 · 0 评论 -
scrapy shell时报错 no module named win32api
安装pywin32就行了 地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/原创 2017-04-12 10:21:04 · 1111 阅读 · 0 评论 -
python的scrapy总结
1.创建项目:cmd中:先cd进入相关木楼后:scrapy crawl weathercd weatherscrapy genspider wuHanSpider wuhan.tianqi.com2.运行项目:进入相关的目录下:scrapy crawl wuHanSpider3.pycharm运行scrapy:1.添加项目到pycharm2.创建be原创 2017-04-19 09:59:48 · 276 阅读 · 0 评论 -
python的99乘法表
基础开始学习python99乘法表#!/user/bin/env python#-*- coding:utf-8 -*-class printTable(object): """打印99乘法表""" def __init__(self): x = 10 print x, "开始打印乘法表" self.print99(原创 2017-03-30 11:25:25 · 753 阅读 · 0 评论