weixin_45722061的博客

很多人觉得正则很难，在我看来，这些人一定是没有用心。其实正则很简单，根据二八原则，我们只需要懂 20% 的内容就可以解决 80% 的问题了。我曾经有几年几乎每天都跟正则打交道，刚接手项目的时候我对正则也是一无所知，花半小时百度了一下，然后写了几个 demo，就开始正式接手了。三年多时间，我用到的正则鲜有超出我最初半小时百度到的知识的。1、正则基础1.1、基础语法（1）常用元字符语法...

由于Selenium启动的Chrome中，有几十个特征可以被识别，所以在爬虫界已经没有以前那么受欢迎了。模拟浏览器的新秀Puppeteer异军突起，逐渐受到了爬虫界的关注。Puppeteer需要使用JavaScript来控制，如果你是用Python，那么就需要使用Pyppeteer.如果你使用模拟浏览器爬淘宝，你会发现，无论怎么修改参数，Selenium总是可以立刻被识别。但是如果你...

1. 前言首先自我介绍一下，我是一个做 Java 的开发人员，从今年下半年开始，一直在各大技术博客网站发表自己的一些技术文章，差不多有几个月了，之前在 cnblog 博客园加了网站统计代码，看到每天的访问量逐渐多了起来，国庆正好事情不多，就想着写一个爬虫，看下具体阅读量增加了多少，这也就成了本文的由来。2. 技术选型爬虫这个功能，我个人理解是什么语言都能写的，只要...

学习任何一门语言都是从入门(1年左右)，通过不间断练习达到熟练水准(3到5年)，少数人最终能精通语言，成为执牛耳者，他们是金字塔的最顶层。虽然万事开头难，但好的开始是成功的一半，今天这篇文章就来谈谈如何开始入门 Python。只要方向对了，就不怕路远。设定目标当你决定入门 Python 时，需要一个清晰且短期内可实现的目标，比如通过学习找一份初级程序员工作，目标明确后，你需要了解企业对初级...

今天继续分享 Python 相关的面试题，你准备好了嘛！网络编程篇1. 简述 OSI 七层协议是网络传输协议，人为的把网络传输的不同阶段划分成不同的层次。七层划分为：应用层、表示层、会话层、传输层、网络层、数据链路层、物理层。五层划分为：应用层、传输层、网络层、数据链路层、物理层。物理层：网线，电缆等物理设备 数据链路层：Mac 地址 网络层：IP 地址 传输层：TCP，U...

一、前言在上一篇博文中，我们的爬虫面临着一个问题，在爬取Unsplash网站的时候，由于网站是下拉刷新，并没有分页。所以不能够通过页码获取页面的url来分别发送网络请求。我也尝试了其他方式，比如下拉的时候监控http请求，看看请求是否有规律可以模拟。后来发现请求并没有规律，也就是不能够模拟http请求来获取新的数据（也可能是我水平有限，哪位童鞋找到了规律一定要告诉我哦）。那么就只有模拟下拉操作...

一、前言上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。update on 2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点BeautifulSoup的用法。update on 2017-08-16：很多网友留言说Uns...

前期准备打开拉勾首页，按F12进入页面调试模式，关注network标签。我们要获取的是网站中所有HR岗位的相关信息，可以发现，所有数据都是通过json来传递的。拉勾网实现翻页点击下一页，观察页面变化，可以发现每点击一个页面，就多了一个"position... .json"的请求，仔细观察，可以发现是post数据中pn(即PageNumber)发生了变化。Python入门到...

由于最近想做一个爬虫，把爬回来的数据放到数据库中。可是我不懂，MySQL。但由于未来工作很可能都是在Linux上做开发。所以，从前天起我就先掉进了Linux的坑。虚拟机上的centos7先是没有图形界面，原来我用了最小安装。然后重新装了个有图形界面的，结果上不了网。走了一圈百度，折腾了一天还是没解决。到了晚上实在没办法了，有个做运维的群友帮我远程协助解决了。本以为今天可以开开心心写代码了，结果...