Python
关注
分享
扫一扫
程序员欧阳沐
这个作者很懒，什么都没留下…
展开
-
不用写代码，3天学会网络爬虫技术，零基础小白也能用数据开挂
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。这次主要讲解的是如何用网络爬虫软件自动下载网页上的文件，打个比方，我们打算把这个法规/标准网站上的pdf格式的法规文件下载下来：如果人工下载这些文件的话，需要在这个网页上逐个点击那...原创 2019-08-23 16:45:49 · 399 阅读 · 0 评论 -
牛掰！10年python爬虫经验开发的案例让你搞定全球80%以上的网站
项目要求：用户入口1、商品信息存在文件里2、已购商品，余额记录。商家入口可以添加商品，修改商品价格商家入口：# Author:P J J import os ps = '''1 >>>>>> 修改商品2 >>>>>> 添加商品按q为退出程序''' # 打开两个文件，f文件为...原创 2019-09-14 22:42:44 · 169 阅读 · 0 评论 -
快就完事了！10分钟用python爬取网站视频和图片
话不多说，直接开讲！教你如何用Python爬虫爬取各大网站视频和图片。网站分析：我们点视频按钮 可以看到url是： http://www.budejie.com/video/接着我们点开网页源码，看下面之处接着我们把那个下面画红线的链接点开，可以看到是个视频。下面我进行相似的操作点图片按钮，可以看到链接： http://www.budejie.com/pic/...原创 2019-09-16 22:09:48 · 1370 阅读 · 0 评论 -
他竟干出这种事！用Python爬虫获三千美女图，总有一款你喜欢的
想问大家一个问题啊，大家学习Python爬虫的动力是什么呀？下面是我们有些同学的回答：1 .Python爬虫学好了，我可以找一个高薪的工作。2 .我学习编程希望能够为社会做贡献（手动滑稽）3 .为了姑娘！（很直白的回答哈！）.....总结了一些同学的回答，结论大多是爬取一切自己想看想了解的事情和人（姑娘）！果然还是姑娘让我们这些码农有动力啊！今天咱们就是爬取今日头条...原创 2019-09-16 22:17:04 · 282 阅读 · 1 评论 -
Python几行代码就能破解WIFI！网卡就用它，都不用换5G了！
大家有没有感觉到自从5G出来了，本身网速还挺快的4G网突然就变慢了！小编深有体会，突然手机就变3G了，等会就没网了！（真是气si本爸爸了/(ㄒoㄒ)/~~）但这就想骗我换5G手机，办5G电话卡了嘛？？那是不阔能的（傲娇脸）不知道你是否和小编有着一样的困扰呢~别怕，it's no problem！作为万能的程序员，俺来破解几个wifi密码玩玩(●'◡'●)，妈妈再也不用担心咱手机没网啦~...原创 2019-09-17 14:31:30 · 964 阅读 · 0 评论 -
女神经常撤回微信？我用Python随时都能看到，撤回也没用！
不得不说微信5.3.1中新增的微信撤回消息功能真是让人又爱又恨！说错话或者发错群还可以及时挽救一下，emmm...这功能还不错~但当你激动的心颤抖的手打开了消息框，“对方撤回了一条消息”，Oh My God！我的男神(or 女神)他撤回了什么？？他是不是想约我来着？？？不得不说有时候对方撤回信息的手速，那是真的666，从发出消息到撤回······ 瞬间搞定，emmmm 盯着手机屏幕都不知道...原创 2019-09-20 15:10:46 · 554 阅读 · 0 评论 -
这个Python脚本牛逼了，秒抢红包，再不怕错过一个亿了！
曾经有一份"份额很足"的大红包，摆在我面前，我没有好好珍惜，如果上天再给我一次机会，我会对发红包的人说三个字：再来个。如果要在这个红包的金额上面加个上限，我希望是200。（因为微信红包最大的红包就是200）我想很多的朋友都遇到过这样的问题，特别是在亲友群里面，很多时候别人发了红包自己却不知道！很难受........小编之前考驾照时，教练有个学员总群，凡是靠过了，教练和学员都会在群里发红包庆...原创 2019-09-21 16:28:34 · 2221 阅读 · 0 评论 -
我用Python爬取微信好友，最后发现一个大秘密
前言你身处的环境是什么样，你就会成为什么样的人。现在人们日常生活基本上离不开微信，但微信不单单是一个即时通讯软件，微信更像是虚拟的现实世界。你所处的朋友圈是怎么样，慢慢你的思想也会变的怎么样。最近在学习 itchat,然后就写了一个爬虫，爬取了我所有的微信好友的数据。并对其中的一些数据进行分析，发现了一些很有趣的事。微信好友爬虫此次的爬虫程序用到的库有很多，其中爬取微信数据用到的是...原创 2019-09-24 19:12:23 · 323 阅读 · 0 评论 -
30行Python爬虫代码爬取淘女郎网美女图，哇太多了，我U盘要满了
首先，爬取的美女图片镇场子， 免得你们又说我光说不练假把式！好了废话不多说，我们直接进入正题！需要额外安装的第三方库 requests pip install requests pymongo pip install pymongo 原理由于淘女郎网站含有AJAX技术，只需要和后台进行少量的数据交换就可以实时更新了，这就意味着直接抓取网页源码...原创 2019-09-25 15:39:39 · 1067 阅读 · 0 评论 -
Python监控术，看看你的男女朋友究竟在逛些什么网站！
需求：(1) 获取你对象chrome前一天的浏览记录中的所有网址(url)和访问时间，并存在一个txt文件中(2)将这个txt文件发送给指定的邮箱地址(你的邮箱)(3)建立例行任务，每天定时自动完成这些操作，你就可以通过邮件查看你对象每天看啥了背景：(1)mac下chrome的浏览记录在哪？怎么获取网址(url)和访问时间？答：路径：/Users/用户名/Library/A...原创 2019-09-27 14:50:54 · 342 阅读 · 0 评论 -
小伙一小时写完经典贪吃蛇，这是我迄今为止见过最牛逼的程序员！
关于Python编程开发贪吃蛇游戏，运行在控制台的贪吃蛇，程序十分简单，并且Python的基础知识都用上了，十分适合巩固Python的基础知识。输入过程中有很多特别的键位,比如上下左右,如果我们需要特殊处理这些键位,则可以调用keypad(True),这样当我们按下键盘左键,将会返回一个类似KEY_LEFT的特殊值。我在程序中加入了分数显示，三种特殊食物，将贪吃蛇的游戏逻辑写到了Sna...原创 2019-09-04 19:23:22 · 407 阅读 · 1 评论 -
最快的扫雷记录，初级只需要0.49秒，一眨眼就结束的操作！
这次我们基于 pygame 来做一个扫雷，上次有朋友问我代码的 python 版本，我说明一下，我所有的代码都是基于 python 3.6 的。先看截图，仿照 XP 上的扫雷做的，感觉 XP 上的样式比 win7 上的好看多了。原谅我手残，扫雷基本就没赢过，测试的时候我是偷偷的把雷的数量从99改到50才赢了。。。下面将一下我的实现逻辑。首先，如何表示雷和非雷，一开始想的是，建立...原创 2019-09-04 19:14:27 · 913 阅读 · 0 评论 -
Python的微信二次开发！实战微信智能聊天机器人！
嘿嘿，一直分享的都是看起来比较枯燥的技术文，今天分享点有趣的技术文吧~都说程序员不懂浪漫，我觉得作为一名成熟的大牛，我需要来证明一下自己，今天小编就来教大家如何用Python代码定时通过微信发消息提醒女友！(ps：简而言之就是微信小机器人啦~)目的：利用python编程定时给女友发提示消息了，分为四个时间段：早上起床、中午吃饭、晚上吃饭、晚上睡觉，都会准时发消息给她了，至于发什么呢...原创 2019-08-25 16:56:45 · 564 阅读 · 0 评论 -
快速入门！Python爬虫，京东自动登录，在线抢购商品！
话不多少，今天教大家如何用Python爬虫，自动登录京东网站，查询商品库存，价格，显示购物车详情等。可以指定抢购商品，自动购买下单，然后手动去京东付款就行。运行环境Python 2.7第三方库Requests: 简单好用，功能强大的Http请求库 beautifulsoup4: HTML文档格式化及便签选择器环境配置 pip install...原创 2019-08-25 18:55:27 · 3822 阅读 · 2 评论 -
给初学Python的小伙伴一些建议
Python适合初学者入门。相比其他主流语言，有更好的可读性，上手相对容易。各种模块，免去了很多重复的工作，更快地写出东西。配置环境也不复杂，mac和linux内置了Python。学python，最大的3个经验：1.一本易懂，比较好的教程，从头到尾看下去。专注于一本。例程都手打一遍，搞懂为什么。2.找实际项目练。是因为要做网站，不得已学python。这种条件的效果比你学一门新语言要...原创 2019-08-25 19:01:57 · 187 阅读 · 0 评论 -
程序员8分钟教你快速掌握Python爬虫核心技术，批量爬取网络图片
在日常生活中，当我们上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。作为一位合格的码农，我们可以通过pyt...原创 2019-08-22 19:16:57 · 294 阅读 · 0 评论 -
教你用Python爬虫爬取知乎妹子信息，还愁找不到女朋友吗？
Python模拟爬虫抓取知乎用户信息以及人际拓扑关系，使用scrapy爬虫框架，数据存储使用mongo数据库。既然需要用到scrapy爬虫框架，那就来科普一下scrapy爬虫框架吧~Scrapy：1、Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取 web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。2、Scrapy...原创 2019-08-26 19:57:52 · 1671 阅读 · 1 评论 -
Python超强爬虫技术，年入百万的秘密！
最近在学习网络爬虫，完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢，当然是因为要比人去收集更高效；网络爬虫，可以理解为自动帮你在网络上收集数据的机器人。网络爬虫简单可以大致分三个步骤：第一步要获取数据，第二步对数据进行处理，第三步要储存数据。获取数据的时候这里我用到了python的urllib标准库，它是python中非常方便抓取网页内容的一个模块。...原创 2019-08-28 22:30:35 · 403 阅读 · 0 评论 -
黑科技Python轻松爬取网站信息，看完我是佩服得五体投地！
1. 引言本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料，总结来说就是使用简单，但会阻塞框架，所以性能方面不佳。一些资料中提到了自定义DOWNLDOWNLDODOWNLOADER_HANDLER或使用scrapy...原创 2019-08-28 22:32:26 · 208 阅读 · 0 评论 -
人工智能爬虫！教你用Python爬取海量数据！
作为python小白，首次看到项目案例肯定是头脑一片空白，如果让你动手去实现它，必定是手足无措。当你打好地基后，就可以开始试着去完成一些基础却又具有挑战性的小项目，让自己得到最快的提升，完成一个项目不是说你要死记硬背多少代码，而是在头脑中有清晰的思路，然后一步一步代入代码。爬虫工作原理首先普及一下网络爬虫：1.网络爬虫框架主要由控制器、解析器和索引库三大部分组成2.爬虫工作原理...原创 2019-08-29 20:00:17 · 1036 阅读 · 2 评论 -
三分钟编程系列，教你用Python将图片转化为字符画，有源代码！
1.设计思路如何把以.png的图片以不同字符把它形象的画出来呢？我们知道其实一张图片是由很多不同像素点所组成的，每种像素点可以表示一种颜色。那么如果我们用不同的字符来代替各种像素点，是不是就可以将图片转化为字符画了？没错就是要用这个原理。2.准备工作为了实现我们本片博文所述的功能，不许得有一个叫做Pillow(PIL)的图像处理库该库的安装方式如下pipinstal...原创 2019-08-29 20:06:40 · 552 阅读 · 0 评论 -
包教包会！7段代码带你玩转Python条件语句（附代码）
何为Python条件语句？Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图先简单了解条件语句的执行过程：条件语句通过一个或多个布尔表达式的执行结果（真值或假值）决定下一步的执行方向。所谓布尔表达式，即对某个对象进行布尔运算，产生一个bool值。条件语句的运行逻辑为：如果条件被满足（返回真值），可以做某件事情；如果条件不...原创 2019-09-02 20:19:54 · 242 阅读 · 0 评论 -
Python程序员自制爬虫小程序, 瞬间爬取十几万美女图片
最近对python爬虫感兴趣，于是也依葫芦画瓢试着用爬虫爬取之前喜欢的网站上的美女图片，其中每一套图都是一张一个页面，存一套图如果是手动得点翻几十个页面，但现在用爬虫的话，就很方便了，只需输入套图的id，轻轻松松就可以把美女存到硬盘了。1.目标网址url：http://www.mm131.com/xinggan/2373.html2.源代码分析F12可以找到如下2行内容s...原创 2019-09-02 20:23:25 · 2025 阅读 · 0 评论 -
Python零基础入门之字符编码、正则、os操作精讲
或许你在码代码的过程中经常会遇到一下两个问题：1.为什么Python使用过程中会出现各式各样的乱码问题，明明是中文字符却显示成“/xe4/xb8/xad/xe6/x96/x87”的形式？2.为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in rang...原创 2019-09-02 20:27:47 · 85 阅读 · 0 评论 -
再也不用担心女神撤回消息了！教你用Python实现微信防撤回
大家在使用微信过程中，有时候消息还没看到，就被撤回了。毕竟好奇心大家都有，明知到消息被撤回了，就更想去看一下是什么内容，心里想着万一是女神给我表白了呢..今天就用Python来做个微信防撤回的小功能。支持文本、图片、语音、视频、名片的防撤回。前提昨天在群里，看到小伙伴发了一个 ”不可描述“ 的图片，我刚准备点开看，就发现TA撤回了，该死的撤回。看我怎么整治你。准备工作 ...原创 2019-09-29 14:32:32 · 1237 阅读 · 0 评论