- 博客(45)
- 收藏
- 关注
RSS订阅原创 kafka APi操作练习
auto.offset.reset//earliest: 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费//latest: 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据//none : topic各分区都存在已提交的offset时，从offset后开始消费；只要有一...
2020-04-01 08:39:52
276
1
原创 redis Api操作练习
public static void main(String[] args) {//0、设置数据库连接池JedisPoolConfig jedisPoolConfig =new JedisPoolConfig();//设置连接池的最大连接数jedisPoolConfig.setMaxTotal(50);//设置最大空闲的数量jedisPoolConfig.setMaxIdle(10);...
2020-04-01 08:35:07
248
原创 Redis必备命令
redis字符串操作必倍添加字符串 set hello world设置多个KV mset AA AAA BB BBB CC CCC设置过期时间 setex hello1 5 word1查询字符串 get hello查询多key mget hello hello2 hello3查询长度 strlen hello修改字符串 set hello world2删除字符串 del...
2020-04-01 08:32:57
243
原创 Redis Api操作练习
//0、设置数据库连接池JedisPoolConfig jedisPoolConfig =new JedisPoolConfig();//设置连接池的最大连接数jedisPoolConfig.setMaxTotal(50);//设置最大空闲的数量jedisPoolConfig.setMaxIdle(10);//设置最小的空闲的数量jedisPoolConfig.setMinIdle(...
2020-04-01 08:28:12
183
原创 Scala 使用IDEA 对list的常见操作
package testobject listDemo { def main(args: Array[String]): Unit = { val list: List[String] = List("a", "b" ,"a") //为列表预添加元素 println("A" +: list) //在列表开头添加元素 println("c" :: l...
2020-03-27 13:35:47
1433
原创 MapReduce初体验——WordCount 单词总和
第一步：配置pom文件 cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ <dependencies> <dependency> <groupId>org...
2019-11-28 17:26:37
594
原创 什么是MapReduce
MapReduce是一个分布式并行计算框架是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。一个大的任务被拆分成多个小任务，每个小任务同时执行。按照执行流程进行计算。...
2019-11-28 17:12:51
876
原创 基于某一个目录创建快照的方法
1、开启特定目录的创建快照 hdfs dfsadmin -allowSnapshot /aaa [root@node01 opt]# hdfs dfsadmin -allowSnapshot /aaa Allowing snaphot on /aaa succeeded2、创建快照 hdfs dfs -createSnapshot /aaa [roo...
2019-11-28 17:07:06
697
原创 HDFS API步骤
1 实例化一个配置文件Configuration conf =new Configuration();2 实例化一个文件系统FileSystem fs =FileSystem.get(new URI(“hdfs://192.168.100.211:8020”),conf);3 调用文件系统对象的apiboolean mkdirs = fs.mkdirs(new Path("/a...
2019-11-28 17:04:57
211
原创 HDSF集群扩容
A: 准备一个全新的节点（新节点准备）1、关闭防火墙2、关闭selinux3、修改主机名4、主机名与IP的对应关系5、SSH免密码登录6、安装JDKB: 添加到集群1、创建HDFS的Datanode的白名单touch dfs.hosts2 、修改hdfs-site.xml,将白名单添加到配置文件中dfs.hosts /export/servers/hadoop-2.6.0...
2019-11-20 09:24:52
741
原创 secondarynameNode工作原理
前提：未使用secondarynameNode时，NameNode工作中会产生fsimage 和edtes,edits日志过大，直接导致集群 二次开机恢复原本状态过慢，引起开机时间过长。secondarynameNode存在的意义就是加快集群二次启动的速度（减小集群二次启动的时间）secondarynameNode原理（帮助NameNode 周期性在NameNode节点拷贝fsimag...
2019-11-20 09:18:09
843
原创 HDFS 特性
1、 存储海量数据：HDFS可横向扩展，其存储的文件可以支持PB级数据2、容错性高：数据保存多个副本，副本丢失后自动恢复。可构建在廉价（与小型机大型机对比）的机器上，实现线性扩展。（随着节点数量的增加，集群的性能-计算性能和 存储性能都会有所增加）当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。（负 载均衡：集群可将原本使用容量较高的...
2019-11-20 09:13:43
684
原创 HDFS文件读取流程
1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。2、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置；3、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNo...
2019-11-11 09:48:13
756
原创 HDFS数据写入流程
1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否 存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如： A，B，C；4、 client请求3台DataNod...
2019-11-11 09:41:45
684
原创 HDFS数据副本机制
1、第一份数据来源于用户的客户端2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩 余容量）选取一个节点进行存放3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使 用率和节点磁盘剩余容量），选择一个节点进行存放...
2019-11-11 09:29:08
1314
原创 hadoop-hdfs安装部署
1、上传解压上传到指定目录输入命令rz （如果没有这个命令 需要安装lrzsz插件 命令 yum -y install lrzsz）解压到指定文件夹tar -z/jxvf 压缩包文件 -C 解压的目录2、配置hadoop的环境变量vim /etc/profile.d/hadoop.shexport HADOOP_HOME=/export/servers/hadoo...
2019-11-05 18:14:29
674
原创 安装hadoop准备阶段（每个节点上）
1、 JDK 1.8第一步 上传1.8jdk的压缩包，并解压 文件上传的路径为/export/soft jdk解压的路径是/export/install第二步：配置环境变量 在/etc/profile.d目录下创建一个java.sh文件，在该文件内编辑环境变量 export JAVA_HOME=/export/install/jdk1.8.0_144 export ...
2019-11-05 17:45:39
242
原创 Hadoop的组成
1：HDFS : 用于海量数据的存储2：MapReduce ：用于海量数据的计算3：Yarn ：集群（CPU 内存 硬盘 ）资源调度
2019-11-05 17:10:41
191
原创 大数据为什么这么快
1、扩展性传统的是纵向扩展（服务器数量不变，每个的配置越来越高）大数据是横向扩展（每个的配置不变，但服务器数量越来越多）2、分布式传统的是集中式存储，集中式计算大数据是分布式存储，分布式计算3、可用性传统的是单份数据（存储数据的磁盘少）大数据是多份数据（存储数据的磁盘多）4、模型传统的是移动数据到程序端大数据是移动程序到数据端（减少了大量的IO开销和网络开销，利用并行计算，并...
2019-11-05 17:09:35
644
原创 大数据服务器系统安装与传统服务器安装的区别
传统服务器安装部署1 系统硬盘 系统硬盘做RAID1/boot 200M/SWAP 内存的1-2倍（在大数据环境下，将其关闭能提高速度 但是可能会有内存溢出问题）/ 剩余所有容量2 数据硬盘将多个小硬盘合并成一个大硬盘（逻辑卷）大数据服务器系统安装部署1: 系统硬盘做RAID1 /boot 200M/SWAP 内存的1-2倍（在大数据环境下，将其关闭能提高速度 但是可能会有内存溢...
2019-11-05 17:07:24
404
原创 大数据的处理流程
数据生产-----> 数据采集----->数据存储----->数据分析------>数据预处理------>数据计算------>结果数据存储----->结果数据展示
2019-11-05 16:58:00
405
1
原创 大数据能做什么
在海量数据的背景下 1、快速查询 2、数据存储（超大量数据的存储，单个大文件（超过了一个硬盘最大的容量）） 3、快速计算（与传统方案对比 传统用了一个月，大数据用1小时） 4、实时计算(立刻马上) 5、数据挖掘（挖掘实际存在但是没有发现的有价值的数据）...
2019-11-05 16:57:27
134
原创 大数据的特点
1、海量化（数据量大）2、多样化（结构化数据 半结构化数据和 非结构化数据）3、快速化（数据的增长速度快）4、高价值（数据量大能做的事情就越多）...
2019-11-05 16:56:45
332
原创 linux ntp时间同步
联网状态下与互联网上提供的时钟服务器进行同步同步命令 ： ntpdate ntp4.aliyun.com配置离线状态下的时钟同步 1、设置时钟同步服务器的时间（node03 2012-12-12 12:12:12） 将node01 node02时间与node03同步 2、修改第一个配置文件 /etc/ntp.conf 添加如下内容 restrict 192...
2019-10-21 21:19:48
276
原创 crontab 定时器
crontab -e 表示编辑定时crontab -l 表示查询已经编辑的定时任务编辑格式 * * * * * 命令（操作）一个小时内的第几分中（0-59）一天内的第几个小时（0-23）一个月内的第几天（1-31）一年内第一个月（1-12）一周中的星期几（0-7）...
2019-10-21 21:18:33
118
原创 linux 集群节点间的无密码访问
目标：node01免密码登录到node01 node02 node03节点1、 在node01节点生成公钥和私钥 ssh-keygen + 4个回车2、免密登录node01 ssh-copy-id node01 + node01的密码免密登录node02 ssh-copy-id node02 + node02的密码免密登录node0...
2019-10-21 21:16:45
541
原创 linux集群部署
1、关闭防火墙 /etc/init.d/iptables stop 开机不自启 chkconfig iptables off 2、关闭selinux vi /etc/selinux/config 将 SELINUX=enforcing 改为 SELINUX=disabled 3、设置每个节点的主机名 vi /etc/sysconfig/net...
2019-10-21 21:14:08
128
原创 linux mysql 远程连接
1、查看当前哪些用户可以访问 进入mysql shell show databases; use mysql ; select host, user ,password from user;mysql> select host, user ,password from user;±----------±-----±-------------------------...
2019-10-21 21:10:57
167
原创 linux mysql 解决中文乱码问题
1、确认当前编码格式 进入mysql shell 窗口 进行查询 查询命令： show variables like 'character_set_%';mysql> show variables like ‘character_set_%’;±-------------------------±---------------------------+| Variable_n...
2019-10-21 21:09:25
523
原创 linux MySQL的安装部署
1: 查看本机mysql是否安装 rpm -qa | grep mysql2: 确认 yum源是否有mysql yum clean all yum search mysql3:安装mysql yum install -y mysql-server4：判断mysql当前状态 /etc/init.d/mysqld status 或 service mysq...
2019-10-21 21:07:04
182
原创 linux tomcat 安装部署
第一步：上传解压 将tomcat 压缩包上传到/export/soft文件夹 将压缩包解压到/export/install内 tar -zxvf apache-tomcat-6.0.53.tar.gz -C /export/install 解压完毕表示安装完毕第二步：启动tomcat 进入解压后目录的bin目录内实行启动 ./startup.sh第三步：...
2019-10-21 21:04:55
130
原创 linux 安装jdk的步骤
第一步上传1.8jdk的压缩包，并解压 文件上传的路径为/export/soft jdk解压的路径是/export/install第二步：配置环境变量 在/etc/profile.d目录下创建一个java.sh文件，在该文件内编辑环境变量 export JAVA_HOME=/export/install/jdk1.8.0_144 export PATH=$PATH:$...
2019-10-21 21:02:16
512
原创 本地yum源的制作
1：备份/etc/yum.repos.d目录下的所有repo 文件[root@node01 yum.repos.d]# cd /etc/yum.repos.d/[root@node01 yum.repos.d]# mkdir old[root@node01 yum.repos.d]# mv * old/2：制作本地repo 文件cp /old/CentOS-Media.repo ....
2019-10-21 20:58:35
499
原创 linux系统挂载ISO文件的两种方式
方式11 在虚拟机的设置中 将cd/dvd 设备状态全部勾选2 连接ios镜像3 将光驱挂载到目录首先创建目录/mnt/cdrom (自定义)mkdir /mnt/cdrom执行挂载 mount /dev/sr0 /mnt/cdrom方式21：将系统ISO文件上传至linux 系统内在linux 联网的状态下 先安装lrzszyum install -y...
2019-10-21 20:55:38
742
原创 linux 挂载新的硬盘
步骤1 :右键虚拟机 设置开启虚拟机 输入 lsblk-f 查看所有设备的挂载情况3 ： 将新添加的硬盘分区输入 fdisk /dev/sdb1第一个分区到这里就创建好了 接下来创建第二个分区两个分区创建好了之后 输入 w 保存退出3 ： 分区创建好了之后 将分区格式化 格式化命令 mkfs -t ext4 /dev/sdb1输入...
2019-10-21 11:19:02
182
原创 管道相关命令
cutcut 动作 文件 从指定文件截取内容cut -c 字符 按字符选取内容cut -d 指定分割符cut -f n1，n2 分割以后显示第几段内容, 使用 , 分割cut -n 只显示第n项cut n- 显示 从第n项 一直到行尾cut n-m 显示 从第n项 到 第m项(包括msortsort 排序 默认正序sor...
2019-10-20 11:18:50
156
原创 磁盘信息与进程信息
磁盘df -h 显示磁盘剩余空间du -h 目录名 显示目录下的目录大小-h 以人性化的方式显示文件的大小进程信息ps aux 查看进程的详细情况ps a 显示终端上的所有进程,包括其他用户的进程ps u 显示进程的详细状态ps 显示没有控制终端的进程top 动态显示运行中进程...
2019-10-20 10:59:31
163
原创 linux 时间和日期
date 查看系统时间（默认）date +“%Y-%m-%d %H:%M:%S” 查看系统时间（指定格式）date -s “时间字符串” 设置系统时间cal 查看当前月的日历cal -y 查看当前年的日历cal 2020 查看2020年的日历cal 10 2020 查看2020年10月的日历...
2019-10-20 10:56:57
154
1
原创 权限的修改
chmod 命令 三种使用方式1： +/- rwx 目录2： u=rwx,g=rwx,o=rwx 目录3： 0-7（4，2，1）求和计算（chmod 777 ） 文件名称
2019-10-20 10:54:01
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人