- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 2021-07-30
HBase 简单安装版本：1.4.9下载地址：wget https://archive.apache.org/dist/hbase/1.4.9/hbase-1.4.9-bin.tar.gz解压：tar -xvf hbase-1.4.9-bin.tar.gz -C hbase配置修改：hbase-site.xml<configuration><property><name>hbase.rootdir</name><value>h
2021-08-02 17:22:45
58
原创 Nginx 支持的负载均衡调度算法方式
Nginx 支持的负载均衡调度算法方式如下：①weight 轮询（默认）：接收到的请求按照顺序逐一分配到不同的后端服务器，即使在使用过程中，某一台后端服务器宕机，Nginx 会自动将该服务器剔除出队列，请求受理情况不会受到任何影响。这种方式下，可以给不同的后端服务器设置一个权重值（weight），用于调整不同的服务器上请求的分配率。权重数据越大，被分配到请求的几率越大；该权重值，主要是针对实际工作环境中不同的后端服务器硬件配置进行调整的。②ip_hash：每个请求按照发起客户端的 ip 的 hash
2021-03-01 13:36:16
423
原创 2020-12-31
git使用版本git config --global user.name “username”git config --global user.emall “userEmall”克隆项目git clone https://github.com/geerlingguy/ansible-for-devops.git
2020-12-31 16:05:32
62
原创 spark开发环境搭建
RDD的编程接口Partitions： 分片对象列表PreferredLocation§： 根据数据本地性，列出分片p的首选位置Dependencies： 返回依赖列表Iterator(p,parentIters)： 给定p的父分片的迭代器，计算分片p的元素Partitioner()： 返回说明RDD是否是hash或者是范围分片的元数据...
2020-12-08 15:30:47
148
原创 shell
常用ss命令：ss -l 显示本地打开的所有端口ss -pl 显示每个进程具体打开的socketss -t -a 显示所有tcp socketss -u -a 显示所有的UDP Socektss -o state established '( dport = :smtp or sport = :smtp )' 显示所有已建立的SMTP连接ss -o state established '( dport = :http or sport = :http )' 显示所有已建立的HTTP连接ss -
2020-12-02 21:08:16
70
原创 大数据项目
干货转载：电商数仓用户行为数据采集-数仓设计：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29839用户行为数据采集-hdfs ON yarn 集群搭建：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29849用户行为数据采集-flume：https://www.aboutyun.com/forum.php?mod=viewthread&a
2020-11-26 14:03:59
142
原创 mapreduce
@[TOC](hadoop)Java访问hdfsHDFS的Java访问接口 org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。org.apache.hadoop.conf.Configuration读取、解析配置文件(如core-site.xml/hdfs-de
2020-11-18 16:07:57
61
原创 topology机架感知
topology.sh#!/bin/bashHADOOP_CONF=${HOME}/etc/hadoopwhile [ $# -gt 0 ] ; donodeArg=$1exec < ${HADOOP_CONF}/topology.dataresult=""while read line ; do ar=( $line ) if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ];then result="${ar[2]
2020-11-13 11:22:04
52
原创 flume
flume单机日志采集1.资源下载：http://flume.apache.org/download.html这里用到的版本是1.7没有考虑组件间的兼容性问题tar -xvf apache-flume-1.7.0-bin.tar.gz -C $HOME_DIR/apps/cd $HOME_DIR/apps/apache-flume-1.7.0-bin/conf配置jdk环境：vim flume-env.shexport JAVA_HOME=检测安装结果：（检测的是localhost:
2020-11-06 11:10:55
72
原创 hadoop
Hadoop ha搭建（多次搭建整理的文档）hadoop2.7.3 ha模式搭建################一步错步步错请小心行事##################1.修改Linux主机名vim /etc/sysconfig/network2.修改IP—配置静态IP，连接外网vim /etc/sysconfig/network-scripts/ifcfg-eth0具体配置： DEVICE=eth0 /*网卡名*/ HWADDR=00:0C:29:41:58:60
2020-10-16 14:42:43
351
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人