- 博客(182)
- 收藏
- 关注
RSS订阅转载 运维 08 常用服务安装部署
常用服务安装部署学了前面的Linux基础，想必童鞋们是不是更感兴趣了？接下来就学习常用服务部署吧！安装环境：centos7 + vmware + xshellMYSQL(mariadb)点我就能找到mysql文章https://www.cnblogs.com/pyyu/p/9467289.htm...
2019-07-09 20:27:00
203
转载 运维 07 Linux系统基础优化及常用命令
Linux系统基础优化及常用命令Linux基础系统优化引言没有，只有一张图。Linux的网络功能相当强悍，一时之间我们无法了解所有的网络命令，在配置服务器基础环境时，先了解下网络参数设定命令。ifconfig 查询、设置网卡和ip等参数ifup,ifdown 脚本命令，更简单的方式启动关闭...
2019-07-09 20:26:00
284
转载 运维 06 vim与程序员
vim与程序员所有的 Unix Like 系统都会内建 vi 文书编辑器，其他的文书编辑器则不一定会存在。但是目前我们使用比较多的是 vim 编辑器。vim 具有程序编辑的能力，可以主动的以字体颜色辨别语法的正确性，方便程序设计。什么是 vim？Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及...
2019-07-09 20:24:00
237
转载 运维 05 Shell基本命令
Shell基本命令前言前面咱们已经成功安装了Linux系统--centos7，那么现在跟着超哥奔向Linux的大门。Linux命令行的组成结构[root@oldboy_python ~]# [root@oldboy_python ~]# [root@oldboy_python ~]# [...
2019-07-09 20:22:00
143
转载 运维 04 Shell基础命令(二)
Shell基础命令(二)查看Linux的发行版cat /etc/redhat-release cat /etc/os-release 查看系统用户的id信息id 用户名 id root id 创建系统用户的命令useradd 用户名passwd 用户名 # 更改用户...
2019-07-08 17:54:00
79
转载 运维 03 Linux之文档与目录结构
Linux之文档与目录结构Linux文件系统结构Linux目录结构的组织形式和Windows有很大的不同。首先Linux没有“盘(C盘、D盘、E盘)”的概念。已经建立文件系统的硬盘分区被挂载到某一个目录下，用户通过操作目录来实现磁盘读写。Linux不像Windows那样的系统目录，Linux使用正斜杠"/"而不是...
2019-07-08 17:53:00
132
转载 运维02 Shell基础命令(一)
Shell基础命令(一)Shell 教程Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Ken Thompson 的 sh 是第一种 Unix S...
2019-07-08 17:52:00
100
转载 运维01 VMware与Centos系统安装
VMware与Centos系统安装今日任务1.Linux发行版的选择2.vmware创建一个虚拟机(centos)3.安装配置centos74.xshell配置连接虚拟机(centos)选择性pc可以选择 -纯系统 Linux/windows -双系统 W...
2019-07-08 17:50:00
101
转载 day 62.3 Django基础八之cookie和session
Django基础八之cookie和session本节目录一 会话跟踪二 cookie三 django中操作cookie四 session五 django中操作session六 xxx七 xxx八 xxx一 会话跟踪 我们需要先了解一下什么是会话！可以把会话...
2019-06-06 10:44:00
114
转载 day 53-1 Django基础三之视图函数
Django基础三之视图函数本节目录一 Django的视图函数view二 CBV和FBV三 使用Mixin四 给视图加装饰器五 Request对象六 Response对象一 Django的视图函数view 一个视图函数（类），简称视图，是一个简单的Pyt...
2019-06-06 10:35:00
127
转载 Navicat安装及简单使用
Navicat安装及简单使用一、安装 下载地址：https://pan.baidu.com/s/1bpo5mqj 下载完之后，直接解压出来就能用，看一下解压之后的目录： 双击打开下面这个文件（可以把它添加一个桌面快捷方式，或者添加到任务栏）： 然后会提示你输入注册码： 回...
2019-06-04 22:02:00
900
转载 爬虫笔记之自如房屋价格图片识别（价格字段css背景图片偏移显示）
爬虫笔记之自如房屋价格图片识别（价格字段css背景图片偏移显示）一、前言自如房屋详情页的价格字段用图片显示，特此破解一下以丰富一下爬虫笔记系列博文集。二、分析 & 实现先打开一个房屋详情页观察一下；网页的源代码中没有直接显示价格字段，价格的显示是使用一张背景图，图上是0-9十个数字，然后网页上显示的时候...
2019-06-04 16:41:00
770
转载 Golang - 爬虫案例实践
Golang - 爬虫案例实践目录Golang - 爬虫案例实践1. 爬虫步骤2. 正则表达式3. 并发爬取美图Golang - 爬虫案例实践1. 爬虫步骤明确目标（确定在哪个网址搜索）爬（爬下数据）取（去掉没用的数据）处理数据（按...
2019-06-03 22:50:00
195
转载 Golang之路
Golang之路目录Golang之路Golang之路Golang(一) - 开篇必须吹牛逼Golang(二) - 第一个go程序和基本语法Golang(三) - 函数Golang(四) - 流程控制Golang(五) -...
2019-06-03 22:04:00
55
转载 Golang - 并发编程
Golang - 并发编程目录Golang - 并发编程1. 并行和并发2. go语言并发优势3. goroutine是什么4. 创建goroutine5. runtime包6. channel是什么7. channel的基本使用8. 无缓冲的channel...
2019-06-03 22:03:00
66
转载 Golang - 处理json
Golang - 处理json目录Golang - 处理json1. 编码json2. 解码jsonGolang - 处理json1. 编码json使用json.Marshal()函数可以对一组数据进行JSON格式的编码func Marshal(v...
2019-06-03 22:02:00
138
转载 Golang - 异常处理
Golang - 异常处理目录Golang - 异常处理1. 抛异常和处理异常2. 返回异常Golang - 异常处理1. 抛异常和处理异常package mainimport "fmt"//系统抛异常func test0111() { a :...
2019-06-03 22:01:00
82
转载 Golang - 面对"对象"
Golang - 面对"对象"目录Golang - 面对"对象"1. 简介2. 匿名字段3. 方法4. 包和封装5. 接口4. 包和封装5. 接口Golang - 面对"对象"1. 简介go语言对于面向对象的设计非常简洁而优雅...
2019-06-03 22:00:00
77
转载 Golang - 复合类型
Golang - 复合类型目录Golang - 复合类型1. 指针2. new()和make()3. 数组4. slice5. Map6. 结构体7. 结构体参数Golang - 复合类型1. 指针go语言中指针是很容易学习的，...
2019-06-03 21:59:00
304
转载 Golang - 流程控制
Golang - 流程控制目录Golang - 流程控制1. 选择结构2. 循环结构3. 跳转语句Golang - 流程控制1. 选择结构if else语句://package 声明开头表示代码所属包package mainimpo...
2019-06-03 21:59:00
93
转载 第一个go程序和基本语法
第一个go程序和基本语法目录第一个go程序和基本语法一. 第一个go程序二. 基础语法1. 命名2. 变量3 常量与枚举4. 数据类型5. fmt包的使用6. 类型别名7. 类型转换8. 运算符第一个go程序和基本语...
2019-06-03 21:58:00
119
转载 Golang - 开篇必须吹牛逼
Golang - 开篇必须吹牛逼目录Golang - 开篇必须吹牛逼Go牛逼吗安装环境Golang - 开篇必须吹牛逼（1）我们为什么要学高并发深度 || 广度（2）go学习思路和目标多打多练掌握go语言做一个并发相关的案例G...
2019-06-03 21:56:00
204
转载 11.二叉树
11.二叉树python实现二叉树的数据结构： . 二叉树的排序方式： - 广度遍历（层次遍历） - 深度遍历： -前序（根左右）：把根放到最前面 - 中序（左根右）：把根放到中间 - 后序（左右根）：把根放到最后class Node(): def ...
2019-06-03 21:46:00
80
转载 10.排序
10.排序一.冒泡排序代码示例：#将乱序列表中最大元素排列到列表末尾位置def m_sort(alist): for j in range(0,len(alist)-1): if alist[j] > alist[j+1]: temp = ali...
2019-06-03 21:45:00
92
转载 9.算法之顺序、二分、hash查找
9.算法之顺序、二分、hash查找一.查找/搜索 -我们现在把注意力转向计算中经常出现的一些问题，即搜索或查找的问题。搜索是在元素集合中查找特定元素的算法过程。搜索通常对于元素是否存在返回 True 或 False。有时它可能返回元素被找到的地方。我们在这里将仅关注成员是否存在这个问题。 - 在 Python 中，...
2019-06-03 21:44:00
178
转载 抓取js动态生成的数据分析案例
抓取js动态生成的数据分析案例需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。分析： 1.首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过...
2019-06-03 21:37:00
124
转载 18.增量式爬虫
18.增量式爬虫增量式爬虫引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近...
2019-06-03 21:35:00
80
转载 17.基于scrapy-redis两种形式的分布式爬虫
17.基于scrapy-redis两种形式的分布式爬虫redis分布式部署1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调...
2019-06-03 21:34:00
67
转载 16.Python网络爬虫之Scrapy框架（CrawlSpider）
16.Python网络爬虫之Scrapy框架（CrawlSpider）引入提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。方法二：基于CrawlSpider的自动爬取进行实现（更加...
2019-06-03 21:33:00
62
转载 15.scrapy中selenium的应用
15.scrapy中selenium的应用引入在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在...
2019-06-03 21:32:00
74
转载 14.UA池和代理池
14.UA池和代理池今日概要scrapy下载中间件UA池代理池今日详情一.下载中间件先祭出框架图：下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。- 作用：（1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处...
2019-06-03 21:30:00
113
转载 13.scrapy框架的日志等级和请求传参
13.scrapy框架的日志等级和请求传参今日概要日志等级请求传参如何提高scrapy的爬取效率今日详情一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ...
2019-06-03 21:28:00
68
转载 11.scrapy框架持久化存储
11.scrapy框架持久化存储今日概要基于终端指令的持久化存储基于管道的持久化存储今日详情1.基于终端指令的持久化存储保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。执行输出指定格式进行存储：将...
2019-06-03 21:27:00
65
转载 12.scrapy框架之递归解析和post请求
12.scrapy框架之递归解析和post请求今日概要递归爬取解析多页页面数据scrapy核心组件工作流程scrapy的post请求发送今日详情1.递归爬取解析多页页面数据- 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储- 需求分析：每一个页面对应一个url，则scrapy...
2019-06-03 21:27:00
116
转载 10.scrapy框架简介和基础应用
10.scrapy框架简介和基础应用今日概要scrapy框架介绍环境安装基础使用今日详情一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很...
2019-06-03 21:26:00
58
转载 09.移动端数据爬取
09.移动端数据爬取前言 随着移动市场的火热，各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据，那这些数据我们是否可以去享用一下呢？那么接下来就进入我们的移动端APP数据的爬虫中来吧。今日概要fiddler简介手机A...
2019-06-03 21:24:00
73
转载 8.基本数据结构-顺序表和链表
8.基本数据结构-顺序表和链表一.内存 - 计算机的作用：对数据进行存储和运算。首先我们需要知道我们目前使用的计算机都是二进制的计算机，就以为着计算机只可以存储和运算二进制的数据。例如下载好的一部电影，该电影可以存储到计算机中，计算机中存储的是基于二进制的电影数据，然后我们可以通过相关的视频播放软件结合相关的硬件对电影的二进制数据进行相...
2019-06-01 17:44:00
83
转载 7.Deque的应用案例-回文检查
7.Deque的应用案例-回文检查- 回文检测：设计程序，检测一个字符串是否为回文。- 回文：回文是一个字符串，读取首尾相同的字符，例如，radar toot madam。- 分析：该问题的解决方案将使用 deque 来存储字符串的字符。我们从左到右处理字符串，并将每个字符添加到 deque 的尾部。在这一点上，dequ...
2019-06-01 17:43:00
98
转载 6.基本数据结构-双端队列（Deque）
6.基本数据结构-双端队列（Deque）一.双端队列（Deque） - 概念：deque（也称为双端队列）是与队列类似的项的有序集合。它有两个端部，首部和尾部，并且项在集合中保持不变。 - 特性：deque 特殊之处在于添加和删除项是非限制性的。可以在前面或后面添加新项。同样，可以从任一端移除现有项。在某种意义上，这...
2019-06-01 17:42:00
201
转载 5.队列的应用案例-烫手的山芋
5.队列的应用案例-烫手的山芋烫手山芋游戏介绍：6个孩子围城一个圈，排列顺序孩子们自己指定。第一个孩子手里有一个烫手的山芋，需要在计时器计时1秒后将山芋传递给下一个孩子，依次类推。规则是，在计时器每计时7秒时，手里有山芋的孩子退出游戏。该游戏直到剩下一个孩子时结束，最后剩下的孩子获胜。请使用队列实现该游戏策略，排在第几个位置最终...
2019-06-01 17:41:00
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人