- 博客(7)
- 收藏
- 关注
RSS订阅原创 概述（初级算法）
注：最近开始刷算法，顺便做下记录。算法，程序员必不可少的能力。为此，找了些书籍和视频教程，但考虑了下，还是实战最适合，所以直接到LeetCode刷题（https://leetcode-cn.com），边刷边学，还有一堆大佬总结，只能说Perfect，简单刷了几题，感觉良好！因为熟悉Java和Python，所以每次使用Java解题后，再使用Python实现一遍，推荐多看看各类大佬的不同解题方法和思路，能更快的理解和优化。至于算法，真正接触也没想象中那么神秘，依我粗浅的认知，本质上是关于“排序”，如
2021-08-23 13:08:13
114
1
原创 URL处理----拼接和编码
PS：浪了好几周，我的锅...... 前几天想爬取一个用户网站自动创建每个用户的资料方便注册一些账号，想写一个通用点的爬虫程序爬取只要配置一些爬取规则，爬取深度就ok了，避免代码改动，由于时间关系只完成的个半成品，后面在考虑是用XML文件作为配置文件，还是简单的使用的.ini文件，后者虽然简单但局限性太大，所以,,,偷几天懒顺便重新考虑下逻辑。========...
2018-10-20 14:23:14
352
原创 Xenserver 添加和卸载硬盘
xenserver 添加和卸载硬盘 最近在浪潮服务器上安了xenserver系统，创建虚拟机，没注意磁盘超负载就重启了服务导致各种坑，一言难尽，忧伤逆流成河啊，所以准备将各种操作整理总结记录下，持续更新ing~~ 查看是否分区cat /proc/partitions 查看磁盘分区如果新硬盘没有分区，应该执行如下操作fdisk -l如果有如下类似提示，则继续以下操作（...
2018-09-15 15:22:04
998
原创 关于爬取异步加载的页面
在爬取网站时常遇到异步加载的情况，必须点击或者下拉滚动条才会加载出更多的图片或视频，在源码中却一片空白，我一开始遇到时候也有点懵，了解了就好，还是请求。学过一些前端知识的朋友都清楚其实就是ajax异步加载js，这是为了提高用户的体验，许多网站都使用这种方法。 究其根本，其实就是将这部分请求放在了后台，查看的话，按F12然后F5刷新页面，在Network标签下都会显...
2018-09-02 21:42:35
1351
1
原创 思路——根据网站链接爬取整个图片网站
八月入职新公司，发现公司的爬虫系统主要用Java实现的偶尔用一些python，为此又看了下Java爬虫，顺便用之前同事推荐我的美女图片网站练手（之前推荐时候python爬虫勉强算经验丰富，感觉难度太低没去爬，这次刚好拿来练手），附上网址http://www.mm131.com/，(对了，这个网站爬取要注意在请求头中加上refer的参数，不然你会发现爬到的是百度和腾讯的图标)，在踩了几个Ja...
2018-08-26 21:37:12
817
原创 Python3——根据m3u8下载视频（下）之requests
下半场ing，好吧，本来准备明天写的（拖延真快乐.gif），然而，，，早上八点多跑公司加班（看书+学习）去，发现大门上挂着一把大锁，我只想说门禁是拿来看的嘛，加啥破锁o(╥﹏╥)o，严重打击了好员工的加班热情[○･｀Д´･ ○]，所以滚回来写博客了，忧伤，写了点代码还踩了半天坑（偷懒惹的祸），忧伤+10086。。。 7.31号上午，也就是离职那天，机智的我突然想到...
2018-08-11 13:32:54
3020
原创 Python3——根据m3u8下载视频（上）之urllib.request
干活干活，区区懒癌已经阻挡不了澎湃的洪荒之力了。。。 运行环境：Windows 基于python3.6 --------------------------------------------------------------------------------------------------------------------------------------...
2018-08-08 22:45:14
1267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人