- 博客(34)
- 收藏
- 关注
RSS订阅转载 windows 7 32位环境下安装Redis、安装桌面管理工具redis-desktop-manager
一、windows 7 32位环境下安装RedisRedis官网上和GitHub上均找不到win7 32位环境下的软件包，无奈只得求助度娘给一个百度云的下载（我已下载并使用，没有问题）http://pan.baidu.com/s/1eRIZPAE就是这个版本有点低……下载后，解压缩文件，在文件夹Redis中可以看到如下：1. 在Redis文件夹中...
2019-09-02 17:49:00
1198
转载 python3爬虫之验证码的识别——selenium自动识别验证码并点击提交，附源代码
https://aq.yy.com/p/reg/account.do?appid=&url=&fromadv=udbclsd_ryy语音的注册页面，账号、密码、重复密码及提交按钮的实现这里不再讲解，利用selenium非常容易实现本文只讲解如何识别绿色框里图片中文字的识别，并使用鼠标正确点击思路：1. 利用爬虫技术将绿色图片下载到本地2. 使...
2019-08-19 20:45:00
2447
转载 python3爬虫之验证码的识别——第三方平台超级鹰
用ocr库进行图形验证码的正确率实在是不太行而且这个图像处理这一行当实在是很深，不是一天两天就能搞定的因此这里推荐一个第三方平台——超级鹰http://www.chaojiying.com小声哔哔，真的没收广告费首先来看一下超级鹰都能识别啥？http://www.chaojiying.com/price.html基本能涵盖常见的情况，当然不同的项目所需的积分不同...
2019-08-15 18:13:00
2046
转载 python3爬虫之验证码的识别——图形验证码
环境安装见博文《python3爬虫之验证码的识别——环境安装》图形验证看似是最为简单的验证，但是因为涉及到了很多图像处理方面的知识，想要做一个通用的验证程序并不简单并且tesserocr自带的训练库识别的效果真是差强人意啊本例通过中国知网注册页面的验证码为例 http://my.cnki.net/elibregister/commonRegister.aspx通...
2019-08-12 14:32:00
527
转载 python3爬虫之图形验证码的识别——环境安装
我的环境：win7 32bitpython3.7PyCharm 2018 社区版Chrome75.0.3770.142（正式版本） （32 位）主旨思想就是利用OCR技术将图片中的数字、字母、汉字等识别出来“OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机...
2019-08-12 10:11:00
284
转载 scrapy爬虫笔记（入门级案例）
初学scrapy框架，很多地方一知半解，先跟着书上的代码一个字一个字敲，还有很多细节值得钻研先来个简单的吧，新建一个scrapy项目xiaozhu小猪短租信息爬取、不分页、不进入详细页面查找，输出形式为打印只搜寻一个网页上的信息http://bj.xiaozhu.com/search-duanzufang-p2-0/，字段为title（名称）、price（价格）、href（...
2019-07-26 10:57:00
129
转载 scrapy爬虫笔记（创建一个新的项目并运行）
前期安装请参考：scrapy爬虫笔记（安装）在确保安装环境没有问题的情况下，新建一个项目需要在cmd中进行首先，在自定义的文件夹（我的是E:\study\python_anaconda_pf\MyProject\scrapy_study）下面创建一个工程，我的工程名字为movie_250在文件夹空白位置按照键盘shift不松手点击鼠标右键，选择“...
2019-07-25 16:20:00
319
转载 scrapy爬虫笔记（安装）
我的环境：win7 32bitAnaconda3python 3.7如果你是小白可以参考：https://www.cnblogs.com/zlslch/p/8316835.html在python3中需要安装的第三方库：lxml、zope.interface、twisted、pyoenssl、pywin32，以及最后安装scrap...
2019-07-25 14:44:00
120
转载 运行scrapy报错：You do not have a working installation of the service_identity module
运行scrapy报错：You do not have a working installation of the service_identity module查了下service_identity这个库已经是安装好了然鹅卸了装，装了卸，反反复复均是会提示这个错误问了度娘之后，找到了个解决方案 https://blog.csdn.net/weixin_42139375/...
2019-07-25 14:42:00
371
转载 运行scrapy demo时报错：[twisted] CRITICAL: Unhandled error in Deferred
在学习scrapy架构时候，按照书上一步一步操作，在保证所有库安装没有问题的情况下，运行报错如下：度娘之后看到这个帖子，按照他的方法果然解决了问题https://blog.csdn.net/qinqigang/article/details/91410465问题原因：sqlite包导入有问题突然想到自己当时在本机运行jupyter notebook 报错也是sq...
2019-07-25 12:52:00
491
转载 python3下使用有道翻译网页版实现翻译功能~~~附源码
有道在线翻译：http://fanyi.youdao.com/在python3中，使用post提交数据进行翻译，默认中英，可更改语言按F12 打开开发者工具，在左侧输入“我爱你”翻译，在右侧观察network中提交的post数据Form Data格式，如下在preview中查看翻译结果，可以看出是字典格式逻辑关系清楚之后，那么就在pyt...
2019-07-18 09:55:00
461
转载 python3+openCV实现图片的人脸人眼检测，原理+参数+源代码
上学时候用matlab学过一些图像处理的基础知识，当时课程作业是用haar实现人脸检测but当时是心思根本不在图像处理上，so找了个同学帮忙做的，自己没上心然鹅天道好轮回，现在捡起来了原来的算法一脸懵逼，自己挖的坑再深也得跳下去啊！先上一张经典的lena图镇场子！流程图：读取一张图片→转灰度图→人眼/人脸检测→标识出来→显示/保存结果其中，...
2019-06-19 18:04:00
1004
转载 python3中文件的读与写
Python open() 函数用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出错误完整语法：open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)常用的参...
2019-06-10 15:20:00
127
转载 Python3中的列表用法，看这一篇就够了
类似C语言中的列表用法--------------------------------------------------------------------------------------------------------------创建：列表使用中括号表示，内部元素使用逗号隔开，元素的数据类型允许不一致，允许多层嵌套names=['Tom',"Lily",...
2019-05-27 17:36:00
253
转载 python3下最全的wordcloud用法，附源代码及相关文件
一、wordcloud是什么词云，在一段文本中提取关键词进行扁平化的展示，更能吸引目标客户的眼球。市面上有很多在线生成词云的工具，本文以Python中的第三方库wordcloud为例讲解如何自动生成词云图二、在python3环境中安装1. 使用conda install wordcloud或者pip install wordcloud安装，此方法可能会报错或...
2019-03-22 16:18:00
11825
转载 使用python3下载网易云音乐歌单歌曲，附源代码
1 """ 2 3 用selenium+PhantomJS配合，不需要进行逆向工程 4 python 3下的selenium不能默认安装，需要指定版本2.48.0 5 """ 6 from selenium import webdriver 7 import os,requests 8 9 10 11 ...
2019-03-12 14:31:00
329
转载 自动化运维之使用Python3收发电子邮件~~~附源码
一、背景介绍1.1 一些专业名称的解释MUA——Mail User Agent，邮件用户代理。是用户与电子邮件系统的交互接口，一般来说它就是我们PC机上的一个程序，提供一个好的用户界面，它提取用户在其界面填写的各项信息，生成一封符合SMTP等邮件标准的邮件，然后采用SMTP协议将邮件发送到发送端邮件服务器。常见的通用型代理有OutLook Express、Fo...
2019-02-12 17:46:00
553
转载 Python3爬取人人网（校内网）个人照片及朋友照片，并一键下载到本地~~~附源代码...
题记：11月14日早晨8点，人人网发布公告，宣布人人公司将人人网社交平台业务相关资产以2000万美元的现金加4000万美元的股票对价出售予北京多牛传媒，自此，人人公司将专注于境内的二手车业务和在美国的投资业务。人人网CEO陈一舟说：“很高兴为人人网找到一个新的归宿和起点。”然而对于人人网曾经近2亿的注册用户来说，哪有什么新的开始，故事已经到了尽头。彼时，他们还是刚...
2019-01-25 18:38:00
2236
转载 Python3爬取起猫眼电影实时票房信息，解决文字反爬~~~附源代码
上文解决了起点中文网部分数字反爬的信息，详细链接https://www.cnblogs.com/aby321/p/10214123.html本文研究另一种文字反爬的机制——猫眼电影实时票房反爬虽然都是仅仅在“数字”上设置了反爬，相同点与不同点如下：相同点：在“数字”上设置了文字反爬通过浏览器的“检查”显示的是“□”，但是可以在网页源代码中找到映射后的数字正则爬的是网页源代...
2019-01-07 22:32:00
1698
转载 Python3爬取起点中文网阅读量信息，解决文字反爬~~~附源代码
起点中文网，在“数字”上设置了文字反爬，使用了自定义的文字文件ttf通过浏览器的“检查”显示的是“□”，但是可以在网页源代码中找到映射后的数字正则爬的是网页源代码，xpath是默认utf-8解析网页数据，用xpath爬出来的也是方框，因此只能使用正则匹配爬取关键数字信息本例以小说《斗罗大陆》为例 https://book.qidian.com/info/1115277，爬取阅...
2019-01-03 14:45:00
723
转载 python3调取百度地图API输出某地点的经纬度信息
1. 查看API接口说明地址：http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding注：callback的功能暂未研究2. 申请自己的ak（类似于连通百度地图服务器的钥匙，请勿泄露）注：调试阶段，应用名称随意填写即可3.1 将下面...
2018-12-24 15:21:00
826
转载 Anaconda的安装、使用以及与PyCharm的链接
初学Python的盆友们是否有这样的疑惑：选择Python2还是Python3呢？（后者并不完全兼容前者）听说两者可以同时安装，那怎么管理呢？Python那么丰富的第三方库，一个一个装太麻烦啦选哪种IDE呢？……诸如此类的问题，相信大多数初学者跟刚入门的我一样都是一脸懵逼，程序员在于折腾。这里推荐使用 Anaconda 来管理你的安装环境和各种工具包（无...
2018-12-12 16:39:00
469
转载 使用python3调用MyQR库生成动态二维码（附源代码）
可生成普通二维码、带图片的艺术二维码（黑白与彩色）、动态二维码（黑白与彩色）。GitHub：https://github.com/sylnsfar/qrcode中文版：https://github.com/sylnsfar/qrcode/blob/master/README-cn.md已封装成MyQR库，直接使用pip安装即可# 安装模块...
2018-12-05 10:25:00
483
转载 python3爬取咪咕音乐榜信息（附源代码）
参照上一篇爬虫小猪短租的思路https://www.cnblogs.com/aby321/p/9946831.html，继续熟悉基础爬虫方法，本次爬取的是咪咕音乐的排名咪咕音乐榜首页http://music.migu.cn/v2/music/billboard/?_from=migu&page=1注意：本程序有时候运行会报错，此时重新运行即可，报错原因不明了！与...
2018-11-14 14:18:00
876
转载 python3通过Beautif和XPath分别爬取“小猪短租-北京”租房信息，并对比时间效率（附源代码）...
爬虫思路分析：1. 观察小猪短租（北京）的网页首页：http://www.xiaozhu.com/?utm_source=baidu&utm_medium=cpc&utm_term=PC%E6%A0%87%E9%A2%98&utm_content=pinzhuan&utm_campaign=BDPZ选择“北京”，然后点“搜索小猪”，获取北京市的...
2018-11-12 17:37:00
314
转载 在windows7 32ibt安装MongoDB数据库的方法及连接失败解决方案
参考https://www.cnblogs.com/cnblogs-jcy/p/6734889.htmlhttp://yunkus.com/mongodb-install-config-in-window-environment/1. 下载MongoDB数据库官网https://www.mongodb.com/进入下载软件界面进去发现windows环境下...
2018-09-20 16:49:00
156
转载 python3爬取墨迹天气并发送给微信好友，附源码
需求：1. 爬取墨迹天气的信息，包括温湿度、风速、紫外线、限号情况，生活tips等信息2. 输入需要查询的城市，自动爬取相应信息3. 链接微信，发送给指定好友思路比较清晰，主要分两块，一是爬虫，二是用python链接微信（非企业版微信）先随便观察一个城市的墨迹天气，例如石家庄市的url为“https://tianqi.moji.com/weather/china...
2018-09-12 10:51:00
413
转载 python3爬取”理财大视野”中的股票，并分别写入txt、excel和mysql
需求：爬取“理财大视野”网站的排名、代码、名称、市净率、市盈率等信息，并分别写入txt、excel和mysql环境：python3.6.5网站：http://www.dashiyetouzi.com/tools/value/Graham.php查看html源码：信息在html中以table形式存在，每个股票信息是一行，存放在tr中，单元格信息存放在td中...
2018-08-29 17:35:00
307
转载 python3爬取豆瓣top250电影
需求：爬取豆瓣电影top250的排名、电影名称、评分、评论人数和一句话影评环境：python3.6.5准备工作：豆瓣电影top250（第1页）网址：https://movie.douban.com/top250?start=0 或者 https://movie.douban.com/top250每页展示25个电影，一共10张翻页第...
2018-08-29 16:11:00
438
转载 pyecharts用法，本人亲测，不再更新！pyecharts已更新v1版本，向下不兼容，请参考官方手册...
主题除了默认的白色底色和dark之外，还支持安装扩展包pip install echarts-themes-pypkgecharts-themes-pypkg提供了vintage,macarons,infographic,shine和roma主题 1 import random 2 from pyecharts import ...
2018-07-02 10:26:00
1413
转载 wordcloud的安装报错 error: Microsoft Visual C++ 10.0 is required. Get it with "Microsoft Windows SDK 7.1"...
cmd中使用pip install wordcloud失败，没看懂报错的原因……而在pycharm中添加也报错解决方法：1. 下载wordcloud-1.4.1.tar.gz，解压缩cmd cd 到有setup.py的文件夹下，运行python setup.py install,依然报错2. 重新安装了sdk7.1 依然失败3. 下面说成功的方法...
2018-06-29 13:45:00
199
转载 windows下升级pip失败，重新安装pip最新版本
环境：python3.6.5 32bit，后改为python3.4.3 32bitpycharm2018旗舰版问题：pycharm里的pip一直无法升级到10.0.1版本，在cmd中使用升级命令pip install --upgrade pip一直失败，显示的原因是已经更新到10.0.1了但是查看pip版本依然是9原因是可能我这个python版本是重新装了一遍，可能...
2018-06-29 10:44:00
2132
转载 Python3与SQLServer、Oracle、MySql的连接方法
环境：python3.4 64bitpycharm2018社区版 64bitOracle 11 64bitSQLServer·Mysql其中三种不同的数据库安装在不同的服务器上，通过局域网相连步骤1：在pycharm上安装相应的包，可通过pip或者其他方式步骤2：import这些包import pymysql,pymssql,cx_Oracle #...
2018-06-28 09:41:00
204
转载 pycharm添加wordcloud模块时报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual ...
windows 7 32bitpython3.6.3 32bitpycharm2018社区版 32bit问题说明：添加wordcloud模块时报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.v...
2018-06-27 19:21:00
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人