- 博客(121)
- 收藏
- 关注
RSS订阅转载 Python 3.6 抓取微博m站数据
Python 3.6 抓取微博m站数据2019.05.01 更新内容containerid 可以通过 "107603" + user_id 组装得到，无需请求个人信息获取；优化多线程抓取，修复之前因urllib.request全局定义，导致代理无法正常切回本地IP；优化分布式抓取策略，由每台机器顺序获取用户ID 再拼装URL抓取策略，修改为每台机器顺序获取URL进行抓取。防止由...
2019-03-07 19:06:00
267
转载 4、NameNode启动过程详解
NameNode内存本地磁盘fsimageedits第一次启动HDFS格式化HDFS，目的就是生成fsimagestart NameNode，读取fsimage文件start DataNode，向NameNode注册；block report（块汇报）create dir /user/hw/tmp -> write [edits]put files ...
2019-01-03 00:44:00
201
转载 2、HDFS交互式Shell
管理模式bin/hdfs dfsadmin ## run a hdfs admin clientbin/hdfs dfsadmin -report ##报告信息bin/hdfs dfsadmin -refresh ##刷新节点转载于:https://www.cnblogs.com/Grand-Jon/p/10188196.html...
2018-12-27 23:42:00
208
转载 1、HDFS 架构、启动过程
Hadoop Distributed File System易于拓展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务NameNodeNamenode是一个中心服务器，==单一节点==（简化系统的设计和实现），==负责管理文件系统的名字空间（namespace）以及客户端对文件的访问==。文件操作，==NameNode负责文件元...
2018-12-26 23:53:00
180
转载 11、 Hadoop 2.x各个服务组件如何配置在那台服务器运行并测试
HDFS模块NameNode：是由哪个文件中的哪个配置属性指定的呢？core-site.xml文件中；<property> <name>fs.defaultFS</name> <value>hdfs://hadoop-senior.ibeifeng.com:8020</value></propert...
2018-12-25 18:56:00
130
转载 10、Hadoop组件启动方式和SSH无密码登陆
启动方式一、各个组件逐一启动hdfs: hadoop-daemon.sh start|stop namenode|datanode|secondnode yarn: yarn-demon.sh start|stop resourcemanager|nodemanagermapreduce: mr-historyserver-demon.sh start|stop hi...
2018-12-24 23:09:00
101
转载 9、Hadoop配置文件和HDFS垃圾回收
配置文件默认配置文件：相对应的jar包中core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml自定义配置文件 $HADOOP_HOME/etc/hadoop/core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlHDFS垃圾回...
2018-12-23 22:58:00
105
转载 8、日志聚集服务
Log Aggregation日志聚集sudo gedit etc/hadoop/yarn-site.xml 增加以下配置信息启动日志服务器<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value&...
2018-12-21 14:14:00
108
转载 7、环境搭建常见问题汇总
NameNode格式化配置文件信息有问题etc/core-site.xml主机名ip映射配置问题 /etc/hosts启动NameNode出错查看日志 logs/*转载于:https://www.cnblogs.com/Grand-Jon/p/10151277.html...
2018-12-20 18:26:00
109
转载 6、Hadoop 2.6.0 运行
运行方式Local (Standalone) ModePseudo-Distributed ModeFully-Distributed ModeStandalone Operation $ sudo mkdir input $ sudo cp etc/hadoop/*.xml input $ sudo bin/hadoop jar share/hadoop/ma...
2018-12-19 15:02:00
87
转载 5、Hadoop 2.6.5 环境搭建
下载地址：http://archive.apache.org/dist/hadoop/common/sudo wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz准备官网文档：http://hadoop.apache.org/docs/r2.6.5/hadoop-pr...
2018-12-18 14:47:00
107
转载 4、MapReduce思想、运行机制
MapReduce 离线计算框架分而治之input > map > shuffle > reduce > output分布式并行的计算框架将计算过程分为两个阶段，Map和ReduceMap阶段并行处理输入数据Reduce阶段对Map结果进行汇总Shuffle链接Map和Reduce两个阶段Map Task将数据写入到本地磁盘Reduc...
2018-12-17 11:33:00
90
转载 3、HDFS架构和YARN架构
HDFS 架构图HDFS 服务功能NameNodeNameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。DataNodeDataNode在本地文件系统存储文件块数据，以及块数据的校验和。Secondary NameNodeSecondary NameNode用来监控HDF...
2018-12-16 21:12:00
144
转载 2、Hadoop 2.X 概述及生态系统
Hadoop官网http://hadoop.apache.org/Hadoop来源GFS -> HDFSMapReduce -> MapReduceBigTable -> HBaseCommonThe common utilities that support the other Hadoop modules.工具、基础、为工程服务HD...
2018-12-13 23:12:00
112
转载 【shell】2、判断表达式、if语句
文件类型判断test -e filename：该文件名是否存在test -f filename：该文件名是否存在且为文件（file）test -d filename：该文件名是否存在且为目录（directory）文件权限判断test -r filename：该文件名是否存在且有==可读==的权限test -w filename：该文件名是否存在且有==可写==的权限t...
2018-12-12 00:29:00
97
转载 【shell】1、变量的声明、引用及作用域
shell程序以文件形式存放==批量的Linux命令集合==，该文件能够被Shell解释执行，这种文件就是Shell脚本程序通常由一段Liunx命令、Shell命令、控制语句以及注释语句构成Shell脚本的编写Shell脚本是纯文本文件，可以使用任何文本编辑器编写Shell脚本通常是以.sh作为后缀名语法第一行指定 #!/bin/bash 或者 #!/bin/sh...
2018-12-12 00:24:00
96
转载 开放API接口安全处理
一、开放API接口定义顾名思义，开放出来给其他人调用的API接口就是开放API接口。例如，短信接口、邮件接口。二、开放API的弱点数据窃取用户的密码等信息被不轨之人窃取，登录账号发布敏感信息，盗刷等。数据篡改提交的数据被抓包后进行篡改后再提交。数据泄露爬虫将业务数据甚至核心数据抓取，直接或间接造成损失。三、开放API解决方案RSA/DES 加密...
2018-12-11 01:25:00
463
转载 Base64编码原理
Base64是编码方式不是加密方式标准的ASCII码 128个中96个可见字符，其余为不可见字符，为了避免不可见字符使用了64个可见字符进行编码（1）原理例如：Hello先转成二进制01001000 01100101 01101100 01101100 01101111 00000000打乱重编码，以6个一组进行重编码，不满足的需要补0010010 00011...
2018-12-10 23:11:00
94
转载 7、基本命令-Crontab定时调度
在Linux中，自带调度工具功能crontab，针对用户（每个用户都可以调度自己的任务）创建定时任务crontab -e：创建一个定时任务添加内容crontab基本定义语法：* * * * * command说明：分：1-59，每十分钟 */10时：0-23，*/2日：1-31月：1-12星期：0-6，星期天0 1 2 3 4 5 6例如：30 ...
2018-12-10 22:58:00
98
转载 6、基本命令-防火墙
防火墙sudo service iptables status：查看防火墙是否关闭sudo service iptables stop：关闭防火墙sudo service iptables start：开启防火墙sudo chkconfig iptables off/on：永久关闭/开启防火墙selinux 禁用步骤sodo vi /etc/sysconfig/seli...
2018-12-10 22:56:00
66
转载 5、基本命令-软件安装
RPM命令rpm -qa|grep xxx：检查某个软件是否安装rpm -e --nodeps xxx：卸载已安装的命令rpm -ivh xxx.rpm：安装软件tar软件tar -zxvf xxx.tar.gz：解压到当前目录tar -zxvf xxx.tar.gz -C dir：解压到指定目录tar -zcvf xxx.tar.gz dir：压缩目录zip软...
2018-12-10 22:53:00
70
转载 4、基本命令-系统管理
系统信息uname：系统信息uname -r： 系统版本信息cat /proc/cpuinfo：cpu详细信息cat /proc/meminfo：内存信息date：查看日期cal 2018：显示某年的日历表date -s 2018-09-30：root用户设置系统日期date -s 12:19:00：root用户设置系统时间磁盘信息df -lh：显示磁盘信息...
2018-12-10 22:52:00
74
转载 3、基本命令-文件操作
当前目录下，文件$ ls$ ls -l$ ll$ ls -a ==比ls多了.开始的隐藏文件==特殊目录标识符一个点 .：当前目录两个点 ..：上级目录切换目录：$ cd dirname ==change directory 缩写==用户和组：创建用户的时候会默认创建用户目录和组文件：==在Linux系统下面，文件类型（常见三种类型）==文件...
2018-12-10 22:50:00
53
转载 2、基本命令-系统用户
清屏：$ clear显示当前目录：$ pwd创建用户：$ useradd hw：用户名$ passwd hw：密码Linux下，默认情况创建一个用户的同时会给用户在系统的目录下创建一个属于自己的用户目录，该目录称为用户主目录。例如： /home/hw，用户的主目录可以使用 ~ 进行表示。切换用户：root切换到普通用户：$ su - ...
2018-12-09 12:26:00
56
转载 1、远程连接工具
一、远程连接四要素IP地址用户名密码协议 ssh二、远程连接工具第一次远程连接到Linux系统时，默认进入用户主目录 ~远程命令行：SecureCRT远程FTP： FileZilla 文件传输协议远程编辑工具：Notepad++、UltraEdit远程界面工具：Xmanage三、主机名与IP地址映射修改配置文件Linux: /etc/hosts...
2018-12-09 12:15:00
125
转载 Restful架构API编码规范
Restful API目前比较成熟的一套互联网应用程序的API设计理论一、协议API与用户的通信协议，总是使用HTTPs协议。二、域名应该尽量将API部署在专用域名之下。https://api.xxxxxx.cn/https://xxxxxx.cn/api/三、版本（Versioning）应该将API的版本号放入URL。https://xxxxxx.c...
2018-12-09 12:09:00
147
转载 61、springmvc-异步请求-返回DeferredResult
61、springmvc-异步请求-返回DeferredResult61.1 DeferredResult 官方文案61.2 使用/** * 创建订单加入 订单处理队列 * * @return */@ResponseBody@RequestMapping("/createOrder")public DeferredResult<Object> crea...
2018-12-08 22:12:00
175
转载 60、springmvc-异步请求-返回Callable
60、springmvc-异步请求-返回Callable@Controllerpublic class AsyncController { @RequestMapping("async01") @ResponseBody public Callable<String> async01() { System.out.println...
2018-12-08 22:11:00
189
转载 59、servlet3.0-异步请求
59、servlet3.0-异步请求59.1 开启servlet异步请求步骤支持异步处理 asyncSupported=true开启异步模式 req.startAsync();业务逻辑进行异步处理;开始异步处理 asyncContext.start()获取响应 asyncContext.getResponse()59.2 新建异步servlet处理类@WebServle...
2018-12-08 22:09:00
84
转载 58、springmvc-定制与接管SpringMVC
58、springmvc-定制与接管SpringMVC定制SpringMVC；1）、@EnableWebMvc:开启SpringMVC定制配置功能；<mvc:annotation-driven/>；2）、配置组件（视图解析器、视图映射、静态资源映射、拦截器。。。）extends WebMvcConfigurerAdapter转载于:https://www.cn...
2018-12-08 22:08:00
104
转载 57、springmvc-整合
57、springmvc-整合57.1 创建Spring MVC Annotation项目<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch...
2018-12-08 22:07:00
51
转载 56、servlet3.0-与SpringMVC整合分析
56、servlet3.0-与SpringMVC整合分析web容器在启动的时候，会扫描每个jar包下的META-INF/services/javax.servlet.ServletContainerInitializer加载这个文件指定的类SpringServletContainerInitializerspring的应用一启动会加载感兴趣的WebApplicationIniti...
2018-12-08 22:05:00
90
转载 55、servlet3.0-ServletContext注册三大组件
55、servlet3.0-ServletContext注册三大组件使用ServletContext 注册 Servlet、Filter、Listener使用编码的方式，在项目启动的时候给 ServletContext 里面添加组件必须在项目启动的时候来添加ServletContainerInitializer得到的 ServletContext 对象ServletCont...
2018-12-08 22:03:00
96
转载 54、servlet3.0-ServletContainerInitializer
54、servlet3.0-ServletContainerInitializerShared libraries（共享库） / runtimes pluggability（运行时插件能力）1、Servlet容器启动会扫描，当前应用里面每一个jar包的ServletContainerInitializer的实现2、提供ServletContainerInitializer的实现类；...
2018-12-08 22:02:00
82
转载 53、servlet3.0-简介&测试
53、servlet3.0-简介&测试Servlet 4.0 ： https://www.jcp.org/en/jsr/summary?id=servlet+4.0转载于:https://www.cnblogs.com/Grand-Jon/p/10081279.html
2018-12-07 10:01:00
66
转载 52、[源码]-Spring源码总结
52、[源码]-Spring源码总结总结一、Spring容器在启动的时候，先会保存所有注册进来的Bean的定义信息；xml注册bean；注解注册Bean；@Service、@Component、@Bean、xxx二、Spring容器会合适的时机创建这些Bean用到这个bean的时候；利用getBean创建bean；创建好以后保存在容器中；统一创建剩下所有的bean的...
2018-12-06 22:08:00
60
转载 51、[源码]-Spring容器创建-容器创建完成
51、[源码]-Spring容器创建-容器创建完成12、finishRefresh();完成BeanFactory的初始化创建工作；IOC容器就创建完成；1）、initLifecycleProcessor();初始化和生命周期有关的后置处理器；LifecycleProcessor 默认从容器中找是否有lifecycleProcessor的组件【LifecycleProcess...
2018-12-06 22:04:00
62
转载 50、[源码]-Spring容器创建-Bean创建完成
50、[源码]-Spring容器创建-Bean创建完成11、finishBeanFactoryInitialization(beanFactory);初始化所有剩下的单实例bean；beanFactory.preInstantiateSingletons();初始化后剩下的单实例bean1）、获取容器中的所有Bean，依次进行初始化和创建对象2）、获取Bean的定义信息；Root...
2018-12-06 22:02:00
45
转载 49、[源码]-Spring容器创建-创建Bean准备
49、[源码]-Spring容器创建-创建Bean准备转载于:https://www.cnblogs.com/Grand-Jon/p/10079887.html
2018-12-06 22:00:00
57
转载 48、[源码]-Spring容器创建-初始化事件派发器、监听器等
48、[源码]-Spring容器创建-初始化事件派发器、监听器等8、initApplicationEventMulticaster();初始化事件派发器；获取BeanFactory从BeanFactory中获取applicationEventMulticaster的ApplicationEventMulticaster；如果上一步没有配置；创建一个SimpleApplicati...
2018-12-06 21:58:00
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人