stephen@-CSDN博客

原创输入网址背后发生的那些事

提出问题：点开浏览器，输入网址，背后发生了哪些事情问题目的：了解HTTP(HyperText Transfer Protocol)协议，在浏览器中输入URL到整个页面显示在用户面前时这个过程中到底发生了什么。了解web工程师的水平。简单回答：在浏览器中输入URL到整个页面显示在用户面前时这个过程中，分为四个部分DNS域名解析 : 查找域名对应的IP地址。发起请求 ...

2019-04-27 21:07:28 1057

原创北京妞儿找IT男图的算数思路

最近这图火了，先不管是否有这人这事或者真人真事，耿直的IT男看到这图是一道算数题，真真实实的一道算法题，那就开始算吧。问题描述：质数分解：数字（num）707829217分解两个质数，微信ID：大写字母NY后面跟着两个质数，大的在前，小的在后出现3的次数：找出1到微信号的奇数序列中，出现3的次数一，质数分解（prim）解释：质数定义为在大于1的自然数中，除了1和它...

2019-04-14 11:49:43 4234 2

原创 python自动生成requirements.txt

系统环境：OS Platform Ubunut 16Python 3.7.2描述问题：在对项目进行打包时，经常需要编写requirements.txt(一个项目所需要的模块)当项目太大的时候，手动添加模块和对应的版本的工作量就大起来了。问题：python自动python 导出一个项目所需要的模块及其对应版本解决方案：使用 pip freezepip freeze >...

2019-12-25 20:31:25 394 1

原创 Selenium-鼠标操作

鼠标操作鼠标操作需要使用webdriver下的ActionChains类：from selenium.webdriver import ActionChains鼠标操作可分为三类：鼠标移动、鼠标拖拽、鼠标点击element = driver.find_element(By.name, '按钮')#鼠标点击ActionChains(driver).click(element).perf...

2019-08-01 14:04:57 447

前言：有时候我们用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用reuqest的到的结果并不一样。这是因为request获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，可能是通过Ajax加载的，可能是包含的HTML文档中的，也可能是经过JavaScript和特定的算法计算后生成...

2019-07-25 18:39:52 1861 1

原创对图像求傅里叶变换

基于Opencv以dft()函数为核心，展示如何计算以及显示离散傅里叶变换后的幅度图像。源代码//-----------------------------展示如何计算以及显示傅里叶变换后的幅度图像-------------#include <opencv2/core/core.hpp>#include <opencv2/imgproc/imgproc.hpp&gt...

2019-05-24 15:53:05 1151

原创输入输出XML和YAML文件

什么是XML和YAML示例程序：XML和YAML文件的写入示例程序：XML和YAML文件的读取什么是XML和YAML XML(eXtensible Markup Language)是一种元标记语言。所谓“原标记”，就是开发者可以根据自身需要定义的标记，任何满足XML命名规则的名称都可以标记。此外，XML是一种语义/结构化语言，它描述了文档的结构和语义。 YAML(YAML Ain’t...

2019-05-24 15:43:18 580

原创爬虫与反爬虫

什么是爬虫和反爬虫？当我们在浏览器中输入一个url后回车，后台会发生什么？常见的反爬虫机制有哪些？破解反爬虫机制的几种方法？爬取需要注意哪些问题？什么是爬虫和反爬虫？• 爬虫：使用任何技术手段，批量获取网站信息的一种方式。• 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里只讨论数据采集部分当我们在浏...

2019-05-17 16:06:50 983

原创浏览器解析网页内容---输入网址背后发生的那些事

浏览器解析网页内容比较多，下面这两篇文章说明的也比较详细，我就不再写这个浏览器解析网页内容。参考掘金-浏览器页面渲染机制，你真的弄懂了吗https://juejin.im/entry/5bc996626fb9a05d02612988segmentfault-浏览器解析渲染HTML文档的过程https://segmentfault.com/a/1190000018652029建议先看【...

2019-05-17 15:15:58 448

原创连接结束---输入网址背后发生的那些事

当客户端和服务器通过三次握手建立了TCP连接以后，当数据传送完毕，肯定是要断开TCP连接的啊。那对于TCP的断开连接，这里就有了神秘的“四次分手”。下图为四次分手的过程，看不懂图没有关系，请继续往下看。第一次分手：主机1（可以使客户端，也可以是服务器端），设置Sequence Number，向主机2发送一个FIN报文段；此时，主机1进入FIN_WAIT_1状态；这表示主机1没有...

2019-05-10 19:36:00 262

原创服务器处理请求并返回HTTP报文---输入网址背后发生的那些事

自然而然这部分对应的就是后端工程师眼中的HTTP。后端从在固定的端口接收到TCP报文开始，这一部分对应于编程语言中的socket。它会对TCP连接进行处理，对HTTP协议进行解析，并按照报文格式进一步封装成HTTP Request对象，供上层使用。这一部分工作一般是由Web服务器去进行什么是HTTP响应报文HTTP响应报文是由三部分组成: 状态码, 响应报头和响应报文。状态码状态码...

2019-05-07 21:05:28 1411

原创发起http请求---输入网址背后发生的那些事

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

2019-05-07 18:00:39 607

原创建立socket连接【TCP三次握手】---输入网址背后发生的那些事

什么是Socket什么是TCP/IP协议建立socket连接,为什么要TCP三次握手什么是Socket Socket是对TCP（Transmission Control Protocol ）/IP（Internet Protocol）协议的封装，Socket本身并不是协议，而是一个调用接口（API），通过Socket，我们才能使用TCP/IP协议。什么是TCP/IP协议 TCP/I...

2019-04-30 20:50:38 1195

原创踩过 Python 3.7.2安装pycrypto 2.6.1抛出cl.exe错误的坑（已解决）

环境：Python 3.7.2PyInstaller 3.4pycrypto 2.6.1问题提出：普通加密，不需要控制窗口，打包成exepyinstaller --key KEY=XXXX -w -F XXXX.py抛出错误：用–key KEY=xxxx 这个参数需要用一个 pycrypto 加密包pip install PyCrypto结果：抛出错误...

2019-04-30 20:32:00 6925 1

原创把py转化成exe(干货）

问题提出：无奈别人的电脑没有装python编译环境，无法运行py文件。本教程为在window环境下，使用PyInstaller3.4将Python脚本打包成exe可执行程序。使用命令：pip install pyinstaller 上图为成功安装效果图，由红色框框看出：pyinstaller需要有altgraph-0.16.1 future-0.17.1 macholib-1...

2019-04-29 11:32:20 13991

原创 DNS域名解析---输入网址背后发生的那些事

提出问题：什么是DNS DNS域名解析有什么用什么是DNS：域名系统（英文：Domain Name System，缩写：DNS）是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网DNS域名解析有什么用：将www.google.com解析成目的IP地址，如果URL里不包含端口号，则会使用该协议的默认端口号。在本地机器上配置...

2019-04-28 19:00:35 1304 2

原创执行下载文件

问题描述：在web页面下载文件第一步：在master机的浏览器打开192.168.216.128：50070第二步：出现如下界面：结果：（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-15 19:23:55 2358

原创执行上传文件

使用putty端上传文件，在web页面查看文件情况第一步：在master节点打开浏览器输入192.168.216.128：50070，点击Utilities查看当前文件情况第二步：在putty端输入第三步：查看结果（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-14 14:28:01 2802

原创 hadoop功能测试

第六章主要是Hadoop的功能测试，本小节主要是叙述相关章节6.功能测试 6.1 执行上传文件 6.2 执行下载文件（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-14 14:10:07 2819

原创使用yarn管理界面

这里可以看到yarn的管理情况在hadoop001打开浏览器，输入：192.168.216.128:8088进入yarn管理界面（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-12 21:54:52 7778

原创网络编程Socket

什么是TCP/IP、UDPSocket是什么python socket 超时设置 “errno10054”什么是TCP\IP、UDP TCP（Transmission Control Protocol 传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。 IP英文Internet Protocol的缩写，意思是“网络之间互连的协议”，也...

2019-04-12 21:44:09 2462

原创编辑器vim的知识点

Vim被誉为[编辑器之神]，vim在编辑器的地位之所以很高，得益于vim的指法，敲起代码来行云流水。基本编辑器vim的知识点（编辑模式命令模式）vim 文件名（包括后缀）初始进入编辑器命令模式i 进入编辑模式键盘左上角 esc 进入命令模式: wq 保存退出: q! 不保存强制退出u 撤回上次操作（效果跟command+Z 效果一样）进阶1 助记符 v...

2019-04-12 16:47:19 2402

原创实现在Git Bash中用Sublime打开文件进行编译（干货）

作为一名大数据的搬运工，Git Bash/Gay吧/Sublime是我们在学习和工作中时刻要用到的工具，做到直接在git-bash里面打开sublime文件会让我们在做任务时更便（装）捷（逼）在git-bash中用sublime打开文件配置方法第一步：打开git-bash，切换到C:\software\Git\mingw64\bin目录下（注意这里是自己安装git的目录）第二步： ...

2019-04-12 11:57:33 3248

原创使用HDFS管理界面

进入HDFS管理界面这里可以看到HDFS的管理情况在hadoop001打开浏览器，进入HDFS管理界面，输入：192.168.216.128:50070点击Datanodes（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-11 22:27:09 9609 1

原创 Hadoop运行结果

5.5 Hadoop运行结果Hadoop的各个web界面的地址web界面地址HDFS页面hostname:50070YARN的管理界面hostname:8088HistoryServer的管理界面hostname:19888Zookeeper的服务端口号hostname:2181Mysql的服务端口号hostname:3306Hive...

2019-04-11 22:07:29 3353

原创查看各个节点启动状态

提出问题：查看各个节点启动状态第一步：查看master节点启动状态在master(hadoop001)上查看slave1和slave2启动状态在slaves(hadoop002和hadoop003)上（to be continued ）快速链接上一篇汇总目录下一篇云计算数据平台-hadoop集群 ...

2019-04-11 20:27:24 8471

原创在master节点启动hdfs

问题提出：在master节点启动hdfs第一步：接着上篇的步骤，在master节点上，在hadoop的根目录的/sbin上启动hdfs的全部节点，成功结果如下，如抛出错误，按照抛出具体问题自行google、bing、百度解决。启动个别节点启动namenode sbin/hadoop-daemon.sh start namenode启动datanode sbin...

2019-04-11 20:20:57 4297

原创初始化hdfs

提出问题：什么是HDFS 怎么初始化HDFS什么是HDFS本小节不再详述hdfs，请参考构建HDFS里面对HDFS介绍怎么初始化HDFS在master节点上运行,初始化HDFS第一步：找到hadoop根目录的bin，输入初始化代码：hdfs namenode - format成功结果如下，如抛出错误，按照抛出具体问题自行google、bing、百度解决。（to be ...

2019-04-11 20:06:32 4478

原创构建HDFS

5.4 构建HDFS Hadoop 附带了一个分布式文件系统(Hadoop Distributed File System，以下简称HDFS)，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。当数据超过一个单个物理机器上存储的容量，除以跨独立机器数。管理跨越机器的网络存储特定操作被称为分布...

2019-04-09 21:13:28 2835

原创使用ssh传输文件

使用SSH在电脑之间传输文件，因为本教程已经用VMware 14 克隆 CentOS 7，把主机的整个Hadoop文件到其他电脑上，达到Hadoop创建从机的要求。在此就不再详述如果是使用其他台式物理电脑的朋友，可以使用使用ssh将配置好的hadoop传到另外从机电脑上本教程使用ssh将在主机上配置好的hadoop和环境变量路径传到另外两台虚拟机第一步：查看此时路径：使用scp传输Ha...

2019-04-08 22:30:14 23114

原创安装密钥

前言：在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥（公钥文件：~/.ssh/id_rsa.pub；私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ss...

2019-04-06 17:09:52 3398 1

原创克隆虚拟机并创建从机

问题描述：本小节克隆虚拟机并创建从机，克隆的状态是从主机（master）已经完成安装hadoop的7个配置文件克隆到从机(slave)上。克隆数目为两个，并对应修改其主机名（hostname）和ip地址。其中hadoop中主从机的别名、节点名、主机名和IP地址映射关系如下表:NamefunctionhostnameIP addressMasterNameNo...

2019-04-06 16:45:50 2577

原创创建从机（slave）

第五章主要是创建从机的教程，分别是克隆虚拟机，安装密钥（本教程是主机无密码登录从机），在安装完密钥的基础上使用ssh传输文件。5.3 创建从机（slave） 5.3.1 克隆虚拟机并创建从机 VMware 克隆虚拟机，克隆你最想回到系统的状态，克隆虚拟机可以快速的创建虚拟机，免去重复安装的烦恼。 5.3.2 安装密钥在搭建Hadoop环境需要设置无密...

2019-04-06 16:25:37 2798

原创配置slave

问题描述：设置Hadoop的slave有多少个，本节以设置两个slave。要完成添加slave，要克隆slave或者自建slave,本教程是克隆虚拟机，如果没有克隆多个虚拟机slave，请完成克隆虚拟机并且修改克隆好的虚拟机的IP地址和修改虚拟机系统的主机名.（以下简称hostname），才能完成Hadoop的slave文件配置。第一步：打开slaves文件第二步：添加你自...

2019-04-06 10:42:10 5516

原创配置hadoop环境变量

问题描述：将之前解压的JDK的根目录和Hadoop根目录添加到/etc/profile文件里面。具体路径如下：NameContentJAVA_HOME的路径/usr/Mysoft/jdk1.8.0_141HADOOP_HOME的路径/Myhadoop/Hadoop-2.7.4/第一步：打开profile文件第二步：导入Hadoop根目录...

2019-04-06 10:25:59 4102

原创修改yarn-site.xml配置文件

前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...

2019-04-05 22:22:29 19655 2

原创修改mapred-site.xml配置文件

前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...

2019-04-04 21:33:30 16447 2

原创修改hdfs-site.xml配置文件

前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...

2019-04-03 21:45:00 15288 3

原创修改core-site.xml配置文件

前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...

2019-04-02 20:44:37 38301 9

空空如也

空空如也