![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 80
普通网友
这个作者很懒,什么都没留下…
展开
-
python真实面试问题和过程
Python爬虫人工智能教程:www.python88.cn编程资源网:www.python66.cn挑战公司:****有限公司 公司规模:20~99人 公司地址:**** 面试时间:上午10:30 面试结果:谈了待遇,等待通知做了个Python学习网站,www.python88.cn,包含全套教程,Python、爬虫、web、数据分析、机器...原创 2018-04-14 18:18:12 · 7580 阅读 · 4 评论 -
mysql、mongodb、redis三大数据库连接
点击终端图标,即可出现命令行终端界面,Ctrl shift + ,快捷键可以增大字号,ctrl - 可以减小字号1、mysql连接:mysql -uroot -pmysql(-u后面跟用户名root,-p后面跟密码mysql)2、redis连接启动服务端:sudo service redis start启动客户端:redis-cli3、mongodb数据库连接启动服务端:sudo service ...原创 2018-05-13 10:03:34 · 1803 阅读 · 0 评论 -
沃保网爬虫(八)-读取csv保存mysql
10条csv数据构造[{},{},{}****]数据结构,列表是所有样本,字典是每个样本通过参数化方法将每个字典数据,也就是每个样本写入mysql检测:成功保存数据更多文章,请关注微信公众号...原创 2018-05-12 11:51:26 · 300 阅读 · 0 评论 -
沃保网爬虫(九)--requests爬虫升级为scrapy爬虫
1、requests爬虫升级为scrapy爬虫:2、start_requests:构造requests对象,包含请求url、请求方式、请求参数3、判断页码,构造下一页请求参数,主要是构造页面,请求下一页数据4、请求详情页资格证号,并返回5、返回资格证号,并yield返回6、数据的处理,pipline,item_key是redis中的集合名词7、加密字段在redis集合中的保存形式显示所有key :...原创 2018-05-13 16:52:58 · 549 阅读 · 0 评论 -
模拟登陆(三)--用session模拟登陆
session模拟登陆方法:1、用session并携带headers和data进行请求登陆接口2、请求成功后,session中会携带cookie信息,再通过session请求登陆后页面即可实现模拟登陆该篇文章不明白的留言,100多个爬虫、数据分析、机器学习源码已经上传知识星球(左侧为知识星球,右侧二维码为微信公众号) ...原创 2018-05-19 23:48:22 · 3923 阅读 · 0 评论 -
selenium模拟登陆豆瓣并获取cookies
验证码处理与模拟登陆豆瓣,首先我们看到豆瓣没有cookies,我们需要用程序来模拟登陆获取cookies(当前有些情况下自己手动登陆后复制粘贴cookies也能登陆),该文主要讲方法,如何用selenium模拟登陆获取cookies1、输入用户名、密码点击登录,点击登录后跳转到另外一个验证码页面,并通过云打码进行验证码返回2、验证码返回后输入后通过字典推导式获取每个domain中的name和val...原创 2018-05-14 21:43:40 · 7169 阅读 · 2 评论 -
模拟登陆人人网--手动复制粘贴cookies
用自己的账号手动登陆下,复制cookies原创 2018-05-14 22:46:42 · 998 阅读 · 0 评论 -
模拟登陆--selenium模拟登陆CSDN获取cookies
selenium模拟登陆CSDN获取cookies模拟登陆步骤:1、点击账号登陆按钮2、输入用户名、密码、点击登陆按钮1、通过by_xpath的class类名来查找账号登陆按钮(特别说明,find_element_by_xpath比find_element_by_class和by_id识别率要高很多,如果by_class和by_id等识别不到或者报错,就用by_xpath写法书写)2、模拟登陆获取...原创 2018-05-21 22:20:07 · 450 阅读 · 0 评论 -
初探基于Tesseract、图像二分法、阈值实现的图像文字识别
开发环境:Linux乌班图Tesseract 是一个 OCR 库,目前由 Google 赞助(Google 也是一家以 OCR 和机器学习技术闻名于世的公司)。Tesseract 是目前公认最优秀、最精确的开源 OCR 系统,除了极高的精确度,Tesseract 也具有很高的灵活性。1、安装1、sudo apt-get install tesseract-ocr(安装tesseract)2、pip...原创 2018-06-03 21:48:37 · 2676 阅读 · 1 评论 -
这些User-Agent和代理IP的使用套路你是否知道,来进行反爬?
一、为何要设置User Agent 有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA。 User Agent存放于Headers中,服务器就是通过查看...转载 2018-06-27 07:43:40 · 2092 阅读 · 1 评论 -
2018最新110道python真实面试笔试面试题
Python爬虫人工智能教程:www.python88.cn编程资源网:www.python66.cn1、一行代码实现1--100之和利用sum()函数求和2、如何在一个函数内部修改全局变量利用global 修改全局变量3、列出5个python标准库os:提供了不少与操作系统相关联的函数sys: 通常用于命令行参数re: 正则匹...原创 2018-07-02 22:42:51 · 4706 阅读 · 2 评论 -
微信撤回的消息找不到?你OUT了,看看python程序怎么找回!
如题所说,本节分享文章,微信撤回的消息如何通过python程序找回来? 下方是我录制的一个GIF动图,发送了五条消息,并且撤回,撤回的消息我转发到文件传输助手,如箭头所示 1、登陆itchat模块 2、注册接收消息的类型,TEXT表示文本,PICTURE表示图片,其他大家不懂的话自行脑补,只提示到这里 3、判断消息类型,并保存内容到msg_dict中,这里我们以msg_id...原创 2018-07-12 15:12:16 · 8797 阅读 · 2 评论 -
数据分析系列教程之numpy(一)
很多同学期待很久的数据分析教程,今天开始正式启动,不过说实话,个人觉得数据分析没有web和爬虫有意思,天天跟数据打交道,其实也很枯燥,不过学习数据分析对很多工作是很有帮助的,比如爬虫,爬下来的数据我们需要怎么处理,清洗,去重等等,这些属于很常见的工作需求,而这些需求,就和数据分析密不可分。该系列教程,会着重讲工作实际应用中用的比较多的一些功能和知识点,以在最短时间,让大家最高效的掌握知识点...原创 2018-08-01 01:23:00 · 449 阅读 · 0 评论 -
数据分析系列教程之numpy(二)
1、numpy读取数据 创建了一个test.csv文件,输入了2列数据 np.loadtxt方法读取数据,参数分别为文件路径、分隔符、数据类型,常见的数据类型,可以有int,float,但是每种细分的话还有很多,csv文件是属于逗号分隔符文格式的文件 细分的数据类型 如果加一个参数unpack=1,则相当于转置,原始数据的行变成我们读取后的列,原始数据的列变成读取后的行,unp...原创 2018-08-01 01:28:44 · 442 阅读 · 0 评论 -
9行代码用python制作迷宫gif动画
9行代码用python制作迷宫gif动画如何能够用Python自己做一个迷宫动画,然后把我的成果展示给其他人呢?(我知道tkinter, pyglet 和 pyqt,但是它们很难发布给别人看)现在,可以使用库gifmaze来做这件事了,它有一些很好的特性:1、它是纯Python编写的,没有第三方依赖,只使用内置模块!(如果你想把动画嵌入图片,那么你需要PIL,PIL虽然不是内置模块,但...原创 2018-08-06 16:54:39 · 4489 阅读 · 0 评论 -
作为一名数据分析+人工智能调包侠,我天天在公司瞎捣鼓什么?
相信很多人学python可能最终目的是冲着从事人工智能而来,这里不得不说,真正的人工智能门槛高,而且对学历、数学功底、编程能力等等都是有很高的要求,下面是我截图拉勾上海地区人工智能首页招聘信息,图中可以看到,真正的人工智能(涉及较深算法、机器学习、深度学习、图像处理、自然语言处理等)岗位基本很多要求硕士以上学历,而且工作年限3-5年居多,当然本科学历也不是不可以,只是可能要求工作经验多些,能力强,...原创 2018-08-06 17:26:47 · 6595 阅读 · 1 评论 -
0基础如何学python,如何学爬虫,如何学数据分析,如何学人工智能并转到这些行业?(亲身经验)
最近1年的主要学习时间,都投资到了python据分析和数据挖掘上面来了,虽然经验并不是十分丰富,但希望也能把自己的经验分享下,最近也好多朋友给我留言,和我聊天,问我python该如何学习,才能少走弯路,今天整理这篇文章,会详细介绍0基础学python该如何学,帮助到更多想学习python的朋友,给广大同学朋友规划个适合学习规划。我大学学习的应用化学,后来毕业做了2年全栈设计师(PS:设计和前端...原创 2018-09-15 17:13:24 · 1432 阅读 · 1 评论 -
上海税前12000的工资,税后能拿到多少?
统计几位在上海的朋友的税前工资和税后工资A朋友:设计 税前30000 公司不避税 税后:你猜?B朋友:设计 税前12000 公司不避税 税后:你猜?C朋友:开发 税前11500 公司不避税 税后:你猜?他们的真实税后工资,跟计算器计算出来一样,我用社保计算器计算,可以清楚的帮助不了解五险一金的朋友进行了解A...原创 2018-09-15 17:24:24 · 37661 阅读 · 0 评论 -
手把手教你如何将翻译程序打包成exe文件
最近做的有道翻译,同学问如何打包成exe文件,我自己动手简单做了下,初步效果图如下 1、源码如图所示,要加死循环,不加的话exe运行一次就会退出 2、exe安装方法安装方法:pip install pyinstaller打包命令:切换到文件目录,执行 pyinstaller -F “youdaofanyi.py” ,引号内是文件名3、运行exe文件跟python程序...原创 2018-09-15 17:28:36 · 1268 阅读 · 0 评论 -
web项目中如何启动爬虫程序?Django+Requests+Ajax制作可视化翻译界面详解
本文讲述如何在web项目中启动爬虫程序,原理,前端点击按钮,发送Ajax请求进行请求,后端接口中接收参数,通过爬虫程序进行翻译,得到翻译后的结果在返回给前端先看下面动图制作方法:1、前端代码编写,用到Html+Css+Ajaxhtml和css主要用于控制样式Html : 用到h2和3个input标签Css: input::-webkit-input-placeh...原创 2018-09-15 17:40:33 · 1490 阅读 · 0 评论 -
Django+Linux+Uwsgi+Nginx项目部署文档
Django+Linux+Uwsgi+Nginx项目部署文档WSGI在生产环境中使用WSGI作为python web的服务器WSGI:全拼为Python Web服务器网关接口,Python Web服务器网关接口,是项目默认会生成一个wsgi.py文件,确定了设置模块,uWSGI实现了WSGI的所有接口,是一个快速,自我修复,开发人员和系统管理员友好的服务器,C语言编写,效率高Ngi...原创 2018-09-15 17:55:12 · 254 阅读 · 0 评论 -
python log日志第二讲
昨天讲到在scrapy如何设置log日志,在scrapy中只要在配置文件配置了log等级和保存路径,我们即可在程序中直接将需要输出的进行输出,并自动保存到log日志文件中,而这些简单的操作即可完成归功于scrapy框架内部实现好了,这就是框架的好处,只需要配置就能实现log信息自动保存,但是如果你是requests,或者是普通python程序,需要怎么做呢?1、当前文件配置log日志输出注...原创 2018-09-15 18:44:19 · 202 阅读 · 0 评论 -
爬虫scrapy框架--log日志输出配置及使用
1、在配置文件中设置日志输出文件名和日志等级1、为什么以日期为文件名?因为这样可以方便开发者查看每天的日志信息,同时也可以防止单文件log日志信息堆积的越来越多,所以将当天日志信息保存到当天的日志文件中2、配置选项有日志等级LOG_LEVEL、日志文件路径LOG_FILE,我这里设置等级为WARNING2、在程序中导入logging模块,对需要输出的内容进行log日志输出我...原创 2018-09-15 18:48:58 · 37584 阅读 · 19 评论 -
用python爬取有道翻译遇到反爬,3分钟反反爬绕过其反爬
利用有道翻译的接口,自制一个翻译程序查看其翻译接口,发现post请求需要传很多参数,而且经过测验,satl,sigh属于动态生成的,遇到这种问题怎么办?当然有时间的情况下,可以去研究这些参数在哪个响应中返回,或者怎么构造,但是一般在工作中我们可能需求来了,不会有过多的时间去考虑这些反爬怎么处理,那么该怎么办?下面就讲如何3分钟绕过其反爬,获取翻译结果切换到手机端模式,精神一震,po...原创 2018-09-15 18:52:17 · 1813 阅读 · 0 评论 -
我是如何学习的,分享本人的学习方法
分享一些自己的学习python(编程)方法1、网盘资料课程多,如何学习,不知道该学哪个?各种资料,视频等,选1-2个比较合适的看即可,太多其实也是放在云盘也不会下载看的2、知识点多怎么办?这是本人浏览器收藏夹存储的一些HTML版本知识点查询手册,每个书签打开是对应的知识点总结和介绍,并且有左侧知识点导航供快速定位查找,以获取知识点查询手册,存到浏览器好书签好处就是:没网也能查看,方...原创 2018-09-15 18:56:45 · 6534 阅读 · 1 评论 -
python爬取微信公众号并向微信发消息报警监控
1、登陆公众号后台(也可以用selenium模拟登陆获取cookies)登陆后复制粘贴cookies,此时cookies是字符串形式,我们需要转成字典形式2、获取token请求参数3、爬取接口在分享图文这里该接口可输入一些查询字符串,返回公众号文章数据,我们利用的就是该接口接口url和post请求参数4、向接口发送请求我们看到该接口的响应是jso...原创 2018-09-15 19:24:09 · 1893 阅读 · 0 评论 -
用python竟然能解绕口令,结果意想不到.....
本文如题所说,用python来解绕口令,先来五组绕口令,自己试验下,看大概怎么断句,有没有晕了下面看用python来解绕口令,用到jieba库和pandas库jieba库用来分词,jieba.cut()方法join方法将列表中逗号替换成空格,并转成字符串pandas转成dataframe二维数据结构,用于查看数据结构和数据处理分析结果除了过过和用毒毒两个地方有误,其他都被完...原创 2018-09-16 10:36:11 · 291 阅读 · 0 评论 -
520用python程序表白太丑不浪漫被休了?没事,还有521
520这一天,朋友圈、微信群多了一大批用程序表白的,看了一些程序员表白脱单神器,截了若干表白图片,虽然用心良苦,但好多无法直视,我看着都替大家着急1、有用python写出来的五颜六色的心(送个老母亲般的微笑)2、也有用python写的专门治感冒的白加黑的样子的心(确定不会说再见?)确定用这些表白神器你女朋友不把你休了?有谁用类似以上表白神器表白的,在下方点赞,看看有多少...原创 2018-09-16 10:44:16 · 2608 阅读 · 7 评论 -
数据分析工作实战知识点--用lambda和map删除数据样本空值
以后发布技术文章,会尽可能把一些重要技术知识点写入开头,增加阅读体验,另外我会把工作中遇到的实际问题,写成文章发布,比如今天这个删除样本空值,还有昨天用python解方程,都是我在数据分析工作中遇到的需求,对于每一个技术点,不管简单与否,我都会去找一些更好的方法改造升级代码,让代码更优化,更精简,进而学习提高本文知识点: 1、pandas中map()函数 2、删除空数据dropna方法 ...原创 2018-09-16 14:02:09 · 1279 阅读 · 0 评论 -
itchat实现微信好友头像爬取并进行拼接成大图当头像
先看一组大图,这是最终效果图,本文讲述如何用代码获取微信好友头像,并拼接成一个图,当做头像,头像效果见下图当然也可以设置图片排列的个数多少,我是按照每行15个来拼接的直接上代码,思路很简单经验有限,不足之处欢迎指正...原创 2018-09-16 14:05:25 · 1101 阅读 · 0 评论 -
利用python数据分析了解你的微信好友地区,性别,个性签名
本文主要讲利用微信官方提供的itchat接口,爬取微信好友性别比例和地区分布,和个性签名词语词云情况,以便我们更有趣的了解我们的微信好友环境:windows 技术:itchat、pandas、matplotlib、结巴分词,面向对象写法先看下方大屏幕,对微信好友个性签名进行词语提取,并做成五角星状的词云形状对微信好友性别地区进行分析,男朋友近600,女朋友300,还有一些未知生物...原创 2018-09-16 15:07:24 · 1229 阅读 · 0 评论 -
python制作361安全装逼卫士表情包
本文讲述361安全装逼卫视表情包制作找图片素材,用PS处理成两个能拼合的图片,比如下图1、将两个图片合成,paste方法可以粘贴两个图片,并进行位置调节2、draw.text()方法写入文字,并在fill参数内填充rgb填充颜色色值,效果如图save方法保存为GIF格式3、测试能不能用,与某位大佬聊天,成功用制作的表情包安全装逼361安全装逼卫士...原创 2018-09-16 15:13:46 · 531 阅读 · 0 评论 -
python如何保存一个字典数据到mysql
python将一个字典保存到mysql,当然前提你先在数据库建好表和字段顺便提一个知识点,我经常在测试爬虫数据保存时候用到:truncate table 表名;可以清空表,但表结构不会被清除,只是里面的数据被清除了经验有限,不足之处欢迎指正...原创 2018-09-16 15:16:02 · 7941 阅读 · 1 评论 -
拉勾网招聘数据爬取(公布源码)
公众号爬取拉勾网招聘数据,本文只讲重点,因为爬任何一个网站,可能最重要的就是遇到反爬怎么办,也就是第一步能不能爬下来数据的问题,本文讲如何爬取拉勾招聘数据环境及软件:Linux乌邦图、redis、mysql、pycharm软件所需库和包:截图中的0、运行方法构造城市列表和岗位列表,并发送请求,本文仅作学习参考,如果想爬取更多数据,请大家自己写方法获取拉勾所有城市和所有岗位...原创 2018-09-16 15:24:20 · 5393 阅读 · 1 评论 -
建站系列教程(三)--如何提高网站搜索排名?
1、搜索引擎优化网站建成能访问后,还要解决的问题就是如何能使网站排名靠前,通过一定关键词、关键字能搜索到网站,并网站排在前面几页,这就需要通过SEO搜索引擎优化技术来做,一些常用的方法有设置TDK、建站群,增加友情链接、做网站地图等等。常规的必须设置标题、关键词、描述,这是搜索引擎抓取网页信息权重最大的地方,所以必须要设置。SEO优化网站:http://seo.chinaz.com...原创 2018-09-16 15:31:17 · 2524 阅读 · 0 评论 -
建站系列教程(二)--本地局域网访问和域名解析
第二讲:如何访问网站:1、本地访问、局域网访问安装wampsever集成软件,w:windows a:apache m:mysql p:php,也就是搭建了一个本地服务器环境。打开软件,在任务栏可以看到绿色的图标,表示已经正常开启服务器环境,右击wampserver图标,打开文件位置,将代码拷贝到www目录下面浏览器输入127.0.0.1即可本地访问网站,默认访问i...原创 2018-09-17 18:06:35 · 15688 阅读 · 0 评论 -
网站制作系列教程--前端代码
最近文章为系列文章,讲述一个网站如何从无到有,从只能本地访问到能在局域网IP访问,从局域网ip访问到通过域名访问,从网站在搜索引擎中无排名到有排名,还有网站访问数据量的可视化管理。(注:本系列教程所做网站仅作展示使用,不涉及后端和数据库,只通过前端代码即可通过域名访问,主要为了说明整个建站流程)这些是我做的网站,都一样,为了做站群,就搞了这么多(站群:故名思义,就是为了提高网站的访问概率,做了...原创 2018-09-17 20:00:20 · 3068 阅读 · 0 评论 -
Python Web不知道怎么学?看这篇就够了!
Python有很多作用,接触过python的朋友肯定知道其几乎无所不能,前端、后端、数据、ML\AI、自动化、爬虫、数据分析,人工智能等等。第一阶段:Python入门(框架再怎么变,基本语法不会变,基础中的基础)·数据类型 ·循环判断 ·常用模块 ·函数、迭代器、装饰器 ·递归、迭代、反射 ·面向对象编程第二阶段:WEB前端基础(坑比较多,多敲)·做WEB当然要懂点基本的...原创 2018-09-17 20:26:22 · 548 阅读 · 0 评论 -
python转型数据分析、机器学习、人工智能学习路线
最近1年的主要学习时间,都投资到了 python 数据分析和数据挖掘上面来了,虽然经验并不是十分丰富,但希望也能把自己的经验分享下,帮助到更多想转行python数据分析和人工智能的朋友,给广大同学朋友规划个适合学习规划。我大学学习的应用化学,后来毕业做了2年全栈设计师(PS:设计和前端都不熟练的那种),后来出于对爬虫开发的喜欢(爬图片、爬视频)还有人工智能、机器学习、大数据的火热程度的追捧,毅...原创 2018-09-17 20:29:04 · 3133 阅读 · 1 评论 -
python测颜值(优良中差不及格)?敢不敢来一发
1、pip install baidu-aip 安装百度开源库,提示成功即可2、注册百度账号 登陆开发者控制台:https://console.bce.baidu.com/#/index/overview点击人脸识别,创建应用,会分别生成APP_ID、 API_KEY、 SECRET_KEY3、新建py文件,导入人脸识别包,并添加秘钥4、下载5张人像照片,与py...原创 2018-09-17 20:35:20 · 684 阅读 · 0 评论