python
NH4L
love
展开
-
python中requests模块有些网站不能访问解决方案
python学习中爬取网站视频时由于python本身不能地址限制的原因,不能直接用response = requests.get(url)获取到网页源代码,进而无法爬取网站信息。 我以猫眼网为例:访问猫眼代码如下:import requestsfrom requests.exceptions import RequestExceptiondef get_one_page(url):...原创 2018-07-30 18:46:07 · 17233 阅读 · 0 评论 -
python之生成多层json结构
网上关于生成多层json结构的比较少,基本都是关于添加元素,解析,怎么转化为json之类的下面就以文章信息的json为基础来构建多层json。生成最基本的一个json:import jsonarticle_info = {}data = json.loads(json.dumps(article_info))data['article1'] = 'NONE'article = ...原创 2019-04-09 18:01:31 · 14405 阅读 · 1 评论 -
tensorflow之手写数字识别基于MNIST数据集机器学习教程(支持多个数字识别)
大家刚开始学习tensorflow的时候,最开始接触到的实战应该就是手写数字识别,因为tensorflow的中文官网上也以这个为例子,利用MINST数据集实现最简单的手写数字识别,网上有很多版本的代码都很杂乱,可能让刚开始学习的同学失去信心,下面将为大家讲解最简的数字识别。首先这是我的整个工程的目录。一、训练和测试(train&&test)1、获取数据集MNIST是在机器...原创 2019-01-05 12:05:34 · 3223 阅读 · 7 评论 -
python之Windows安装以及配置环境(全网最详细)
python–version:3.6.5如果第一次接触python的话,这篇博客可以帮你安装python并配置环境(非常详细)有同学还不会的注意看哟!!!!一、安装包介绍本次安装的python是python3.6.5,没有选择3.7的原因是因为python有些包还不支持python3.7,python3.6兼容性强一些。安装包的下载地址:https://www.python.org/do...原创 2018-11-26 22:42:54 · 19500 阅读 · 12 评论 -
[解决]scrapy操作mysql class 'pymysql.err.InternalError'(1241, 'Operand should contain 1 column(s)
1241, ‘Operand should contain 1 column我是在吧数据插入到MySQL的时候出现这个错误的,插入的语句,代码都是对的 还是报错,所以愿意只能是在某个数据出了问题,给个例子: 这是我爬取某个公司的地址,爬取下来后,他每个是分开的,属于list类型,只有str类型才能正确插入到数据中: ‘job_addr’: [‘广州’, ‘天河区’, ‘天园’, ”] ...原创 2018-08-23 16:42:53 · 13599 阅读 · 6 评论 -
python之 正则+pyquery 爬取飞碟说所有视频并下载
获取网页源代码我们设置的关键字 为‘人’,第一步获取源代码函数里面有一些捕获异常的操作和用户代理,主要是为了顺利获取。import requestsfrom requests.exceptions import RequestExceptiondef get_html(url): headers = {"user-agent": "Mizilla/5.0"} respo...原创 2018-08-12 18:10:27 · 724 阅读 · 0 评论 -
某些情况下json.loads报错的问题
这是今日头条上ajax中一个有关于图片信息的变量:gallery: JSON.parse("{\"count\":6,\"sub_images\":[{\"url\":\"http:\\/\\/p3.pstatp.com\\/origin\\/pgc-image\\/153311418372487f65e2a82\",\"width\":690,\"url_list\":[{原创 2018-08-02 16:35:07 · 1617 阅读 · 0 评论 -
python之Selenium+pyquery爬取有大量反爬虫的天眼查
天眼查:一个还有大量公司的信息的网站。所以反爬程度是相当高的,原创 2019-12-06 09:45:51 · 13598 阅读 · 5 评论 -
python之pyquery爬取网站图片并存储到MongoDB
这次爬取图片的示例网站是:斗图吧http://www.doutula.com/photo/list/ 用到的包是:pyquery,并非正则及其他的包,因为比较操作简单,易懂。首先就是得到该网址源代码:特别需要注意,如果没有user-agent,就是这个代理的话,很可能爬取到的就是 403,而不是200,就不能正常,这里还加了一个异常处理,免得报错。def get_html(url): ...原创 2018-08-09 23:46:55 · 2403 阅读 · 0 评论 -
python之django实现ajax上传图片
最近一个搜索引擎的项目需要用到这个,就是在原有的基础上加一个图片搜索功能,首先得上传图片到服务器!网上很多类似代码,但是有些许问题,由于对前端和ajax不是太熟悉,所以弄了比较久才搞定这个功能。一、html代码上传图片图标代码,用一个label标签将上传文件输入框跟搜索图片绑定一起,点击图片的时候就相当于点击了上传文件的按钮,把输入文件类型的标签隐藏起来,表单外是一个用来显示上传的图片。...原创 2019-08-15 23:46:04 · 1951 阅读 · 0 评论