- 博客(10)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Python网络爬虫数据抓取思路，静态与动态页面爬取思路，爬虫框架等
目录一、静态文件抓取（响应文件中存在的数据）二、动态文件抓取（响应文件中不存在的数据）三、多线程数据抓取四、存文件：多线程争抢共同文件时的操作五、Python爬虫解析模块思路一、静态文件抓取（响应文件中存在的数据）大部分的数据都是直接写在静态文件上的，静态文件这里通常指的一定时间内不会变化的，不需要与后台进行交互的网页。1.首先确认抓取的数据是否存在于响应文件...
2020-03-22 22:32:52
4434
6
原创 Linux相关文章收录
本篇文章是对我所有与Linux相关文章的整理，希望对从事Linux工作的朋友有帮助。目录网络篇1.Linux下修改Ip（Centos版）2.Linux链路聚合，链路聚合四种工作模式系统篇1.Linux下cron计划任务，定时执行脚本或命令2.Centos配置YUM仓库，本地yum仓库3.Linux硬盘分区管理，创建分区并格式化，fdisk命令w...
2020-03-14 00:35:14
391
原创 Scrapy爬虫框架，爬取小说网的所有小说
Scrapy入门教程请看目录1.思路清理2.创建爬虫项目3. 爬虫架构构思4.爬虫程序具体分析5.效果展示6.待优化的地方1.思路清理我们的目的是把某个小说网的所有小说给拿下，这就涉及到多级页面的爬取，我随便找了一个小说网，小说网整体结构都差不多。首先第一级是首页，这个页面囊括了小说的分类，比如玄幻魔法，仙侠修真，都市言情等等二级页面，点击玄幻魔法，...
2020-03-29 16:51:37
12204
4
原创 Linux编译内核，小白也可以看懂
Table of Contents制作U盘引导启动盘下载、配置并构建内核安装和启动内核测试和调试内核制作U盘引导启动盘为什么要做这个启动盘，因为内核编译是很危险的，中间出了错系统则直接崩溃，然后就无法开机了，你将看到一个_在你的左上角闪烁。知道启动盘可以帮你从外置设备启动系统，能启动系统才能恢复系统。1.编译前准备：一个可用的大于8G的USB启动盘，格式化为ext3...
2020-03-25 21:05:50
2596
原创 LUKS加密磁盘，保护因卸盘造成的源码泄露
LUKS加密磁盘在某些企业（如小型公司或政府机关），用户可能需要加固系统以保护私人数据，包括客户的详细资料、重要文件、联系方式等。为此，Linux提供了大量的加密技术，可用于保护物理设备（如硬盘或可移动介质）上的数据。Linux统一密钥设置（LinuxUnifiedKeySetup，LUKS）就是这样一个加密技术，它允许对Linux的分区进行加密。LUKS具有如下功能：·可以使用LUK...
2020-03-24 11:33:50
826
原创 Scrapy爬虫框架，入门案例（非常详细）
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.Scrapy吸引人的地...
2020-03-21 15:44:49
191255
67
原创 linux命令行测网速
安装工具speedtest-cli是使用Python编写的Linux命令行工具。基于Speedtest.net的基础架构来测量网络的上/下行速率。wget https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.pychmod +rx speedtesti.pysudo mv speedtest.p...
2020-03-17 16:54:20
394
原创 initialize Ubuntu System with Software
Now we talk about how to initialize Ubuntu System with SoftwateTable of Contents1.搜狗输入法2.zsh3.安装谷歌浏览器1.搜狗输入法1、下载文件由于我要给多台电脑安装搜狗输入法，所以用的是文件夹安装，不是命令行安装。打开官网http://pinyin.sogou.com/linux，...
2020-03-14 10:27:54
251
原创 Ubuntu下制作U启（USB启动盘)
Ubuntu下制作U启1.安装u盘制作工具unetbootinsudo apt-get install unetbootin2.格式化u盘 查看U盘盘符，一般为/dev/sdc1 ，执行命令sudo fdisk -lDevice Boot Start End Sectors Size Id Type/dev/sdc1 2048 159686...
2020-03-04 20:23:33
2317
原创 eCryptfs，文件系统级加密，在登出时自动为文件加密。通过挂载文件解密和卸载文件加密的方式保护文件
一、文件目录加密与磁盘加密1.文件目录加密我们主要有两种加密文件和目录的方法。一种是文件系统级别的加密，在这种加密中，你可以选择性地加密某些文件或者目录（如，/home/alice）。然而，文件系统级别的加密也有一些缺点。例如，许多现代应用程序会缓存（部分）文件你硬盘中未加密的部分中，比如交换分区、/tmp和/var文件夹，而这会导致隐私泄漏。加密方式：EncFS：尝试加密的最简单...
2020-03-02 11:14:49
6379
HttpClient 4.0.1 所有JAR包
2018-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人