![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
杂七杂八
terrorist2008
这个作者很懒,什么都没留下…
展开
-
hadoop 历史版本下载
hadoop 历史版本下载 http://archive.apache.org/dist/hadoop/core/原创 2018-10-12 01:13:22 · 3972 阅读 · 0 评论 -
大数据学习笔记17:centos7 安装hadoop2.6.1 集群
centos7 安装hadoop2.6.1 集群 1、规划: ip hostname 角色 192.168.157.60 master master 192.16...原创 2018-07-01 15:48:11 · 187 阅读 · 0 评论 -
openssl 生成pfx
openssl 生成pfx 1、生产RSA私钥 openssl genrsa -out openssl.key 1024 2、生成私钥对应证书 openssl req -new -x509 -key openssl.key -out openssl.cer -days 3650 -subj /CN=yzl.website...原创 2018-06-29 10:59:26 · 182 阅读 · 0 评论 -
docker 学习笔记
docker 学习笔记 1、简明扼要的解释docker是什么 docker是种容器。 docker是个轻量级的 类虚拟机。 2、docker 带来那些好处 为应用程序提供了 一个统一的包装箱子,从而方便了 应用程序的 分发、运输、运行、管理。 3、docker 架构图 ...原创 2018-06-29 10:26:21 · 95 阅读 · 0 评论 -
大数据学习笔记16:MapReduce处理流程四
MapReduce处理流程四 1、上面 黑色实框 圈起来的 整体上 是 inputformat 2、inputformat 两个功能: 切分数据、读取数据 3、一个split 对应一个 map 处理 4、分区、排序 都属于 shuffle 5、数据存储交换都在 HDFS上 ...原创 2018-06-27 23:15:17 · 120 阅读 · 0 评论 -
大数据学习笔记15:MapReduce处理流程三
MapReduce处理流程三 前面主要是从数据处理角度 看的MR处理流程,现在从MR功能组件的角度看一下。 1、看下图 1.1 Hadoop两个主要的进程:jobtracker 、tasktracker job 是比task ...原创 2018-06-27 22:24:04 · 322 阅读 · 0 评论 -
大数据学习笔记14:MapReduce处理流程二
MapReduce处理流程二 1、另一个流程图 注意点:1.1、可以自定义 分区函数 控制分区行为 1.2、缓冲区默认排序算法为 快速排序 2、为什么要进行分区? 为了实现并行处理。为了使后面多个 reduce能同时处理数据。 这里分区的目的其实和in...原创 2018-06-26 23:36:16 · 418 阅读 · 0 评论 -
大数据学习笔记13:MapReduce处理流程一
MapReduce处理流程一 我试图着搞明白MapReduce的处理流程--或者叫运行流程。 1、先从单机的角度 粗粒度的看 数据处理程序 读入数据,进而进行数据处理,处理完成后写数据。整体上看很简单,就三步:从源头读入数据、处理数据、写数据到目的地。 2、更细化的图 从1中的图我们大体能明白总体的流程,这是最简单模型。实际...原创 2018-06-26 00:46:28 · 216 阅读 · 0 评论 -
大数据学习笔记12:理解MapReduce
理解MapReduce 1、MapReduce 时两个过程 map:匹配 或者 叫映射 reduce : 汇总 2、MapReduce 体现了分而治之的思想 3、MapReduce 是移动计算 而非移动数据 4、统计单词出现个数的例子 一本书1000页。---假定单页印刷 我们找来 1010人,其中一千人 一人...原创 2018-06-25 13:42:26 · 105 阅读 · 0 评论 -
大数据学习笔记18:hdfs--解决大数据存储
hdfs--解决大数据存储 1、hdfs 之前解决大数据存储 可以使用 NFS 1.1 Network File System 网络文件系统 1.2 NFS问题1 :大文件集中存储,并发访问单节点 压力大 1.3 NFS问题2 : 有单点...原创 2018-07-08 11:10:30 · 335 阅读 · 0 评论 -
大数据学习笔记19:MR解决问题思路
MR解决问题思路 1、分而治之 把一个大任务 划分为多个小块 来分别计算 2、map 就是对每个小块分别处理的过程,处理完产生一个中间结果。一般这个中间结果要比原始数据小很多。 这多个小块进行并发处理,提供处理速度。 3、reduce 是对中间结果的 汇总 reduce可能是一个 也可能是多个...原创 2018-07-08 11:20:00 · 296 阅读 · 0 评论 -
大数据学习笔记20:hadoop2.4.1伪分布式搭建
hadoop2.4.1伪分布式搭建 1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> a...原创 2018-07-08 17:19:06 · 88 阅读 · 0 评论 -
Java volatile
1、线程有自己的独立的内存 对于共享变量会从主内存复制一份到自己线程的内存 2、一个线程里修改了共享变量 两个线程里是看不到的 3、使用 volatile 修饰后 ,线程每次修改了 变量 会写到主内存,读取该变量时直接从主内存读取 4、volatile 解决了 线程间的可见性 但是不能保证原子性 5、测试对共享变量 i 使用两个线程各 i...原创 2018-09-14 17:49:29 · 142 阅读 · 0 评论 -
tomcat 内存设置
非堆区内存设置太小常会导致 tomcat 出现 java.lang.OutOfmemoryError: PermGen Space 修改方法: 编辑 bin/catalina.sh 在文件 该文件的第一行(具体在:cygwin=false上面一行)添加如下配置: JAVA_O...原创 2018-09-10 17:55:04 · 85 阅读 · 0 评论 -
转 因采用 Flask 原生 WSGI 出现 "Broken pipe" 报错的故障处理
因采用 Flask 原生 WSGI 出现 "Broken pipe" 报错的故障处理 转自 https://www.cnblogs.com/autopenguin/p/6704027.html Flask 出现 "Broken pipe" 现象说明:采用 Flask 原生 WSGI 发布 Web(app.run())。随后,发起一个 Request,...原创 2018-08-16 10:16:05 · 707 阅读 · 0 评论 -
scala命令行进入粘贴模式 scala> :paste
scala命令行进入粘贴模式 scala> :paste// Entering paste mode (ctrl-D to finish) print("hello") // Exiting paste mode, now interpreting. hello scala>原创 2018-08-13 10:02:07 · 1702 阅读 · 0 评论 -
nohup python hsbankTelnet.py >/dev/null 2>&1 &
nohup python hsbankTelnet.py >/dev/null 2>&1 &原创 2018-08-08 18:01:15 · 275 阅读 · 0 评论 -
tomcat访问日志 ip 请求次数
cut -d ' ' -f 1 access.log | sort | uniq -c | sort -nr | head -n 5 [devuser@33]$ cut -d ' ' -f 1 localhost_access_log_keystore_8085.2018-07-18.txt | sort | uniq -c | sort -nr ...原创 2018-08-03 16:36:22 · 1444 阅读 · 0 评论 -
sort | uniq -c | sort -rnk 1
sort | uniq -c | sort -rnk 1 [hadoop@master ~]$ cat 001.log 12345611114561231231234452466891211445333335555559[hadoop@master ~]$ [...原创 2018-08-03 15:37:39 · 543 阅读 · 0 评论 -
转---hadoop2.x常用端口、定义方法及默认端口
hadoop2.x常用端口、定义方法及默认端口 Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默...原创 2018-08-02 14:12:31 · 121 阅读 · 0 评论 -
大数据学习笔记11:分布式环境下的强一致性若一致性
分布式环境下的强一致性若一致性 1、当前有三个机器 A、B、C 组成的集群。 这三个机器的数据会相互同步,修改任意一个机器上的数据 ,都会同步到其他另外两个机器上。 2、假如当前 三个机器上的 有x=0 。 当有 client A 修改了 机器A上的x=1后,A还没有确认完成同步到B、C两个机器上时。 A、B、C...原创 2018-06-25 13:42:13 · 182 阅读 · 0 评论 -
大数据学习笔记10:一致性哈希
一致性哈希 1、一致性 Hash 算法简单的说,在移除 / 添加一个节点时,它能够尽可能小的改变已存在 key 映射关系,尽可能的满足单调性的要求。 2、比如使用整数 0--2的32次方-1 的数据范围构建一个环。对节点 和 key 都哈希成一个整数值 ,然后按照顺时针方向 查找节点,比如下图中的k2、k3 都会放到 B节点 ...原创 2018-06-24 11:42:51 · 126 阅读 · 0 评论 -
大数据学习笔记9:python 基础学习六 引入模块
python 基础学习六 引入模块 #!/usr/bin/pythonimport mathimport randomprint math.pow(2,3)print math.floor(4.8)print round(4.8)items = [1,2,3,4,5,6]random.shuffle(items)print i...原创 2018-06-24 09:13:29 · 291 阅读 · 0 评论 -
@ControllerAdvice 和 @ExceptionHandler
@ControllerAdvice The @ControllerAdvice annotation is a component annotation allowing implementation classes to be auto-detected through classpath scanning. It is automatically enabled whe...原创 2018-05-15 17:46:23 · 69 阅读 · 0 评论 -
@SpringBootApplication
@SpringBootApplication Application类,在启动的时候,默认是加载和Application类所在同一个目录下的所有类,包括所有子目录下的类。所以一般情况下,启动类的位置是有特殊要求的。 下面是一个典型的结构:com +- example +- myproject +- Application.jav...原创 2018-05-10 23:21:52 · 88 阅读 · 0 评论 -
spring boot 不使用parent POM的情况下玩转Spring Boot
不使用parent POM的情况下玩转Spring Boot 可以参考: https://qbgbook.gitbooks.io/spring-boot-reference-guide-zh/content/III.%20Using%20Spring%20Boot/13.2.2.%20Using%20Spring%20Boot%20without%20the%20parent%20PO...原创 2018-05-10 21:13:01 · 345 阅读 · 0 评论 -
学习架构笔记002: 架构设计的目的
学习架构笔记002: 架构设计的目的 整个软件发展的历史就是一部与复杂度斗争的历史,架构的出现也不例外。 架构的出现是为了应对软件系统复杂度而提出的一个解决方案。 架构设计的主要目的是为了解决软件系统复杂度带来的问题。 软件系统是用来解决问题的。 要很好的解决问题的前提 是认识问题。 问题的解决受限于现实的客观条件。 ...原创 2018-05-09 21:46:42 · 103 阅读 · 0 评论 -
学习架构笔记001: 架构到底指什么
学习架构笔记001: 架构到底指什么 在 极客时间 app上买了个《从0开始学架构》的课程,在这里做下笔记。 系统与子系统:系统泛指由一群有关联的个体组成,根据某种规则运作,能完成个别元件不能单独完成的工作的群体。 模块与组件:模块: 逻辑角度的划分单元。 划分目的是职责分离 module 组件...原创 2018-05-09 10:29:15 · 142 阅读 · 0 评论 -
学习RMI
学习RMI 1、RMI是什么?RMI--Remote Method Invocation java远程方法调用技术。简单的说RMI使你能像调用本地Java方法一样来调用远程的一个Java方法。所谓远程的实质是指运行在另外一个JVM下。 2、RMI用来解决什么问题? 解决分布式Java应用之间的调用交互。EJB就是基于RMI的。 3、什么情况下...原创 2014-11-17 00:20:09 · 133 阅读 · 0 评论 -
centos7 yum安装docker engine
centos7 yum安装docker engine参考官方文档 https://docs.docker.com/engine/installation/linux/centos/ 1、检查内核版本,最小要求 3.10 $ uname -r 2、确认存在最新的yum包$ sudo yum update 3、Add the yum repo$ ...2016-06-05 11:48:24 · 220 阅读 · 0 评论 -
整理了个软件需求规格说明书模板
1、引言(引言提供了一个概述,帮助读者理解软件需求规格的组织方式和使用方式。)1.1目的( 确定其需求在文档中进行了定义的哪些产品或应用程序,包括修订版本或发布版本号,如果该软件需求规格说明书只与整个系统的一部分有关系,那么就只需要确定这一部分或子系统)本文档详细描述影像系统一期工程中的必须满足的功能需求、非功能需求(质量属性和外部接口)与限制条件,作...原创 2016-05-19 11:26:09 · 2900 阅读 · 0 评论 -
转: SpringBoot编写自定义的starter
转:SpringBoot编写自定义的starter 原文:http://www.importnew.com/24164.html 原文出处: fangjian在之前的文章中,我们分析过SpringBoot内部的自动化配置原理和自动化配置注解开关原理。我们先简单分析一下mybatis starter的编写,然后再编写自定义的starter。mybatis中的a...原创 2018-05-20 22:14:05 · 118 阅读 · 0 评论 -
转Dubbo服务治理
Dubbo服务治理 转自 https://blog.csdn.net/goflyfreely/article/details/8290835 在大规模服务化之前,应用可能只是通过RMI或Hessian等工具,简单的暴露和引用远程服务,通过配置服务的URL地址进行调用,通过F5等硬件进行负载均衡。(1) 当服务越来越多时,服务URL配...原创 2018-05-31 16:55:19 · 86 阅读 · 0 评论 -
加密解密中的 .pfx文件
加密解密中的 .pfx文件 KCS #12 文件扩展名为 ".p12 "或者 ".pfx" 。then what is PKCS ?PKCS :Public Key Cryptography Standards -- 公钥加密标准 。既然是标准肯定有制定者。PKCS 的制定者是 “RSA信息安全公司”。PKCS 是一套公钥加密标准。KCS #12 是其中的一个...原创 2018-06-06 23:49:13 · 2694 阅读 · 0 评论 -
大数据学习笔记8:python 基础学习五 异常
python 基础学习五 异常 捕获所有异常 :#!/usr/bin/pythontry: a = 1 b = a / 0except Exception ,e : print Exception , ":" ,e 捕获特定异常:#!/usr/bin/pythontry: print "...原创 2018-06-24 09:13:13 · 79 阅读 · 0 评论 -
大数据学习笔记7:python 基础学习四 字符串
python 基础学习四 字符串 #!/usr/bin/pythonstr = "abcdefgh"print len(str)b = [1,2,3,4,5,6,7,8,9,0]print len(b)s = "adfafadfaeEGDE"print s[2:5]print s.lower()print s.upper(...原创 2018-06-24 09:13:00 · 80 阅读 · 0 评论 -
大数据学习笔记6:python 基础学习三 if for while
python 基础学习三 if for while #!/usr/bin/python#ifa=2if a > 1 : print "a>1"elif a == 1: print "a==1"else: print "a<1"# foraList = []aList.append("a")...原创 2018-06-24 09:12:45 · 78 阅读 · 0 评论 -
大数据学习笔记5:python 基础学习二 dict list set
python 基础学习二 dict list set dict 相当于 java的 map {} ,list 数组 [] ,set set() #!/usr/bin/pythonxuehao ={"zhangsan":"1","lisi":"2","wangwu":"3"}print xuehaoprint xuehao["原创 2018-06-23 18:47:52 · 76 阅读 · 0 评论 -
大数据学习笔记4:python 基础学习一
python 基础学习一 1、使用 centos 6.5 带的python [root@master bin]# pythonPython 2.6.6 (r266:84292, Nov 22 2013, 12:16:22)[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2Type "help", "copyr...原创 2018-06-23 18:30:46 · 111 阅读 · 0 评论 -
大数据学习笔记3:安装hadoop-1.2.1 集群
安装hadoop-1.2.1 集群 1、上传 解压 tar zxvf hadoop-1.2.1-bin.tar.gz 在 /usr/local/src 下 tar zxvf hadoop-1.2.1-bin.tar.gz cd /hadoop-1.2.1/ mkdir tmp 2、配置 master...原创 2018-06-23 17:22:49 · 127 阅读 · 0 评论