- 博客(14)
- 收藏
- 关注
RSS订阅原创 BigDicimal求精确度
import java.math.{RoundingMode => RM} type RoundingMode = Value val UP = Value(RM.UP.ordinal) //数字向上取整，此舍入模式始终不会减少计算值的绝对值 val DOWN = Value(RM.DOWN.ordinal) //数字向下取整，此舍入模式始终不会增加计算...
2020-03-08 21:53:42
279
原创 FastJson的使用
fastjson API 入口类是com.alibaba.fastjson.JSON,常用的序列化操作都可以在JSON类上的静态方法直接完成。 public static final Object parse(String text); // 把JSON文本parse为JSONObject或者JSONArray public static final JSONObject parseObject(...
2020-02-13 22:38:20
74
原创 Ordering使用
object Test02 { def main(args: Array[String]): Unit = { val user1 = new User1(“jack”, 10) val user2 = new User1(“tom”, 12) implicit val ord : Ordering[User1] = new Ordering[User1] { override def compa...
2020-01-09 16:33:42
180
原创 Azkaban的安装步骤
Azkaban的安装 (注意azkaban和hive和sqoop必须安装在同一台机器) 1.Web服务器、Azkaban执行服务器，安装到装有hive的机器上 1.1创建azkaban的目录 mkdir azkaban 1.2 解压 tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/ tar -zxvf azkaban...
2019-12-26 11:49:31
199
原创 安装sqoop
安装sqoop 1.配置环境变量 2.如果以下软件没有配置环境变量，那么需要在sqoop-env.sh文件中配置 export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2 export HIVE_HOME=/opt/module/hive export ...
2019-12-18 18:33:36
91
原创 配置tez
配置tez 1.上传tez的tar包到HDFS 1.1创建/tez目录 hadoop fs -mkdir /tez 1.2 上传tez的tar包到该目录 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 2.解压tez安装包 tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/mod...
2019-12-18 18:33:05
153
原创 安装hive
安装hive 1.配置hive的matestore到HDFS中 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> javax.jdo.option.ConnectionURL jdbc:mysql:/...
2019-12-18 18:32:35
124
1
原创 安装keepalived
安装keepalived 1.在MySQL主从机上安装keepalived软件包 sudo yum install -y keepalived 2.修改Keepalived配置文件/etc/keepalived/keepalived.conf（只保留以下的配置） global_defs { #路由器id router_id MySQL-ha } vrrp_instance VI_1 { state...
2019-12-18 18:32:03
99
原创 安装mysql软件，并设置双向主从复制
安装mysql软件，并设置双向主从复制 1.检查是否安装了mysql，版本不一致就卸载 rpm -qa|grep mysql rpm -e --nodeps mysql-libs 2.安装mysql （zip需要解压到module文件中） sudo rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm sudo rpm -ivh MySQL-server-5...
2019-12-18 18:31:20
88
原创 安装Kafka集群
安装Kafka集群 1.在/opt/module/kafka目录下创建logs文件 2.server.properties配置 #broker的全局唯一编号，不能重复，zookeeper监控broker节点，先注册者为controller broker.id=0 #删除topic功能使能，不打开的话，注册的节点不能删除 delete.topic.enable=true #处理网络请求的线程数量 n...
2019-12-18 18:30:31
61
原创 zookeeper安装
zookeeper配置 1.创建目录存储zookeeper的数据 mkdir datas 2.配置zoo.cfg dataDir=/opt/module/zookeeper/datas 3.配置集群 zoo.cfg server.102=hadoop102:2888:3888 server.103=hadoop103:2888:3888 server.104=hadoop104:2888:3888...
2019-12-11 20:19:30
64
原创 hadoop集群安装
安装hadoop集群 1.core.site.xml fs.default.name hdfs://hadoop102:9000 hadoop.tmp.dir /opt/module/hadoop/data/tmp 2.hdfs.site.xml dfs.namenode.secondary.http-address ha...
2019-12-11 20:18:59
80
原创 安装前准备
1.编写脚本到/home/carbon/bin目录下 ①xcall 同步执行命令脚本 #!/bin/bash #校验参数 if((KaTeX parse error: Expected 'EOF', got '#' at position 1: #̲==0)) then e…@" #分发 for((i=102;i<=104;i++)) do echo "==========hadoop...
2019-12-11 20:18:12
183
原创 搭建虚拟机DataWare
搭建虚拟机DataWare 1.linux CentOS 6 64位 2. 2*2 3.虚拟机内存4096 4.LSILogic 5.SCSI 6.创建新的虚拟磁盘50G 7.CD挂载光盘 8.install or 9.创建自定义布局 10.格式化-将修改写入磁盘 11.现在自定义桌面–基本-浏览器-桌面 12.系统-网络连接-iPV4 192.168.24.11 255.255.255.0 19...
2019-12-11 20:17:25
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人