- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 shell脚本创建hbase表
create_hbase_table.sh#!/bin/bash#1,判断执行脚本时，是否输入正确的参数[[ $# < 1 ]] && echo "请输入hbase表名!" && exit 1#2,定义hbase表#hbase_table="'test111'"hbase_table="'$1'"cf="'f'"echo "输入的hba...
2019-03-28 16:23:35
2113
原创 sparksql: RDD ,DataFrame, DataSet
1, 基本概念spark 1.5及以前范围类名创建来源spark coreRDD: 封装基本数据(int,tuple )sparkContext.parallelize(1 to 3)spark sqlDataFrame: RDD[Row]sQLContext.read.json(…)spark streamingDStream: [rdd,rd...
2019-03-27 15:48:37
384
原创 scala模式匹配和异常处理
scala异常处理：1， try -catch- finallyobject TryTest { def main(args: Array[String]): Unit = { try { val choice = args(0) val choiceVal = choice.toInt if (choiceVal == 1) {...
2019-03-26 17:56:17
974
原创 flink消费kafka数据
maven配置<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version></dependency>...
2019-03-25 13:37:10
6351
原创 CDH安装: rpm包+parcel
1，cm 的rpm 包下载地址：a, http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16/RPMS/x86_64/b, archive.cloudera.com/cm5/installer/5.16.1/cloudera-manager-installer.bin2， 安装rpm包install-cdh.sh#安装jdkr...
2019-03-21 15:04:18
2930
原创 flink简单应用: scala编写wordcount
在ida中创建maven项目，配置scala环境，调用flink-streaming-scala的api1,配置pom.xml &amp;amp;amp;amp;amp;lt;dependency&amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;lt;groupId&amp;amp;amp;amp;amp;gt;org.apache.flink&amp
2019-03-11 16:57:20
5613
4
原创 hbase错误排查/数据恢复
1，hbase表：数据结构2，hbase报错集由于region发生split, regionserver暂忙，停止了服务，而数据还在往旧的region中插入，导致如下各种错误==&amp;amp;amp;amp;amp;amp;amp;amp;gt;解决办法：第一步： 备份hdfs的表数据（hdfs dfs -mv /hbase/data/default /hbase.back）第二步： 删除hdfs中的hbase数据目录的全部数据 (hdfs...
2019-03-08 11:21:10
5266
原创 docker-compose管理多个容器/服务
1， 管理单个服务：mysql2, 管理多个服务：web + mysql1, docker-compose 启动mysqlvim docker-compose.ymlversion: '3' services: mysql-docker: image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: '1...
2019-03-06 19:11:41
8844
原创 nginx配置负载tomcat均衡
操作的流程如下：目标==》访问localhost:80,流量随机的分发到s101, s102nginx配置负载均衡nginx.conf配置如下： http{ upstream {…} server { location{…} } }#user nobody;worker_processes 1; events { worker_connection...
2019-03-06 16:34:17
442
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人