- 博客(95)
- 收藏
- 关注
RSS订阅原创 [flink]#14_Table API & SQL
需要的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table_2.11</artifactId> <version>1.6.1</version></dependency><depend...
2019-10-31 19:19:39
145
原创 [flink]#13_Data Set
DataSource基于集合fromCollection(Collection)基于文件readTextFile(path)TransformationMapFlatMapMapPartition: 一次处理一个分区的数据FilterReduceAggregationsDistinct: 返回数据集中去重后的元素JoinO...
2019-10-31 15:51:21
108
原创 [flink]#12_Data Stream
DataSource:数据源输入，Transformation:具体操作，Map，Flatmap，FilterSink:处理后数据存入指定介质DataSource基于文件readTextFile(path)基于SocketsocketTextStrean基于集合fromCollection(Collection)自定义输入Transformation...
2019-10-31 15:30:27
93
原创 [flink]#11_应用开发quick_start
开发步骤获得一个执行环境加载/创建初始化数据指定操作数据的Transaction算子指定计算好的数据的存放位置调用execute（）触发执行程序Flink流处理 开发import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.utils.Parame...
2019-10-30 14:58:23
151
原创 [Spark][spark_sql]#4_DataSource API
import java.util.Propertiesimport com.typesafe.config.ConfigFactoryimport org.apache.spark.sql.{DataFrame, Dataset, SaveMode, SparkSession}object DataSourceApp { def main(args: Array[String])...
2019-10-29 16:48:52
87
原创 [Spark][spark_sql]#3_SparkSQL API
SparkSessionimport org.apache.spark.sql.{DataFrame, SparkSession}bject SparkSessionApp { def main(args: Array[String]): Unit = { // DF/DS编程的入口点 val spark: SparkSession = SparkSession.b...
2019-10-29 15:30:11
208
原创 [flink]#10_应用开发项目搭建
JavaMaven构建$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -Darchetyp...
2019-10-18 20:37:36
97
原创 [docker]$11_Docker API
Docker APIDOCKER_OPTS="-H=tcp://0.0.0.0:2375 -H=unix:///var/run/docker.sock"docker infohttp://127.0.0.1:2375/infodocker container create rediscurl -X POST -H "Content-Type: application/json" \...
2019-09-29 15:37:16
141
原创 [docker]$10_Docker Swarm
Docker SwarmRole一个集群由多个运行 Docker 的主机组成，分别作为管理者（Manager）和工作者（Worker）两个角色。管理者管理集群中的成员，而工作者运行集群服务。给定的 Docker 主机可以是一个管理员，也可以是一个工作者，或者同时具备这两个角色。Node一个节点（Node）是参与到 Swarm 集群中的一个实例。一般表现为运行 Docker 的主机。服务与...
2019-09-29 15:16:51
92
原创 [docker]$9_Docker Compose
Docker ComposeCompose 是定义和运行多容器 Docker 应用程序的工具。使用 Compose，可以通过编辑 YAML 文件来配置应用程序的服务。它可以用来管理应用程序的生命周期，例如启动，停止以及重构服务。1.定义应用程序的环境，即 Dockerfile2.定义组成应用程序的服务，一般为定义 docker-compose.yml 文件3.启动整个应用程序app|-...
2019-09-29 14:42:25
99
原创 [docker]$7_Docker Registry
Docker RegistryDocker Registry 部署$ docker run -d -p 5000:5000 --restart=always --name registry registry:2使用 Registry 管理仓库和镜像# 拉取镜像 redis:latest$ docker pull redis$ docker tag redis:latest localh...
2019-09-29 11:30:44
119
原创 [docker]$6_Dockerfile
Dockerfile构建镜像时，该过程的第一件事是将 Dockerfile 文件所在目录下的所有内容递归的发送到守护进程。所以在大多数情况下，最好是创建一个新的目录，在其中保存 Dockerfile，并在其中添加构建 Dockerfile 所需的文件。使用 FROM 指令指定一个基础镜像，后续指令将在此镜像的基础上运行：FROM ubuntu:14.04使用 FROM 指令指定一个基...
2019-09-28 21:13:01
127
原创 [docker]$5_网络管理
网络$ docker network ls三种默认的网络: bridge，host，nonebridge///shiyanlou:1.0 镜像创建一个容器 shiyanlou001，并将本机的端口 10001 映射到容器中的 80 端口上，在浏览器中可以通过 localhost:10001 访问容器 shiyanlou001 的 apache 服务，命令如下：$ docker run ...
2019-09-28 20:47:00
150
原创 [docker]$3_存储管理
Docker存储管理volumes， 卷存储在 Docker 管理的主机文件系统的一部分中（/var/lib/docker/volumes/） 中。完全由 Docker 管理bind mounts， 绑定挂载，可以将主机上的文件或目录挂载到容器中tmpfs， 仅存储在主机系统的内存中，而不会写入主机的文件系统volumes#匿名卷$ docker volume crea...
2019-09-28 20:12:08
127
原创 [docker]$2_镜像管理
docker镜像管理1.查看镜像列表# Management Commands $ docker image ls///查看 ubuntu 仓库的镜像：$ docker image ls ubuntu2.查看镜像信息# Management Commands $ docker image inspect ubuntu3.搜索镜像$ docker search ubuntu4....
2019-09-28 19:43:10
187
原创 [docker]$1_容器管理
Docker 容器管理docker命令1.查看系统信息$ docker info$ docker system info2.Managment Commands# 创建一个新的容器，下面分别为 Commands 和 Management Commands，作用相同$ docker create$ docker container create# 显示容器列表$ docker ...
2019-09-28 17:31:56
286
1
原创 [Lucene]#3_索引库查询
TermQuery//使用Termquery查询@Testpublic void testTermQuery() throws Exception { Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath()); IndexReader indexReader = DirectoryR...
2019-06-19 10:54:05
90
原创 [Lucene]#2_索引库维护
索引库添加//添加索引@Testpublic void addDocument() throws Exception { //索引库存放路径 Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath()); IndexWriterConfig config = new IndexWr...
2019-06-19 10:13:32
95
原创 [Lucene]#1_Lucene入门
1.创建索引创建java工程，添加jar：lucene-analyzers-common-7.4.0.jar, lucene-core-7.4.0.jar, commons-io.jarLuceneFirst.java//创建索引@Testpublic void createIndex() throws Exception { //指定索引库存放的路径 //D:\tem...
2019-06-18 22:35:30
134
原创 [kafka]$2_flume->kafka完成实时数据收集
avro-memory-kafka.conf# Name the components on this agentavro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels = memory-channel# Describe/configur...
2019-06-15 14:23:18
236
原创 [kafka]$1_kafak-api
pom.xml<dependencies><dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version></dependenc...
2019-06-14 12:02:12
241
原创 [kafka]$0_kafka部署
单节点单brokervi kafka/conf/server.propertiesbroker.id=0host.name=localhostlog.dirs=/usr/local/tmp/kafka-logszookeeper.connect=localhost:2181启动kafka kafka-server-start.sh config/server.proper...
2019-06-13 22:11:24
120
原创 [hadoop][zookeeper]#50_zookeeper安装
下载解压配置环境变量cp zoo_example.cfg zoo.cfgvi zoo.cfgdataDir=/usr/tmp/zookeeperzkServer.shzkCli.sh
2019-06-13 19:08:56
80
原创 [flume]$1_flume使用
从网络端口采集数据输出到控制台vi conf/example.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sou...
2019-06-12 22:04:00
109
原创 [flume]$0_flume安装
下载解压 flume.apache.org/etc/profile 配置环境变量flume/conf/flume-env.sh, 设置JAVA_HOME
2019-06-12 20:38:03
90
原创 [Spark][spark_ml]#5_projects
文本情感object Main { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("SA") val spark = SparkSession.builder().config(conf).getOrCreate() sp...
2019-06-11 21:53:42
137
原创 [Spark][spark_ml]#4_PCA降维
object PCA { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("iris") val spark = SparkSession.builder().config(conf).getOrCreate() spark...
2019-06-11 18:48:22
310
原创 [Spark][spark_ml]#3_聚类算法
object KMeans { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("iris") val spark = SparkSession.builder().config(conf).getOrCreate() va...
2019-06-11 18:32:32
246
原创 [Spark][spark_ml]#2_分类算法
object Main { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("iris") val spark = SparkSession.builder().config(conf).getOrCreate() spar...
2019-06-11 18:30:16
271
原创 [Spark][spark_ml]#1_回归算法
object LinearRegression { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("linear").setMaster("local") val sc = new SparkContext(conf) val spark = SparkSes...
2019-06-11 17:35:29
126
原创 [Spark][spark_sql]#2_DataFrame&Dataset
/** * DataFrame API基本操作 */object DataFrameApp { def main(args: Array[String]) { val spark = SparkSession.builder().appName("DataFrameApp").master("local[2]").getOrCreate() // 将json文件加载...
2019-06-09 16:53:26
138
原创 [Spark][spark_sql]#1_sparksql入门
SQLContext的使用object SQLContextApp { def main(args: Array[String]): Unit = { val path = "../resources/people.json" //1.创建相应Context val sparkConf = new SparkConf() sparkConf.setApp...
2019-06-09 16:00:38
105
原创 [Spark][spark_core]#1_spark入门
[root@node00 sbin]# spark-shell --master local[2]val file = spark.sparkContext.textFile("file:///usr/local/wc.txt")val wordCounts = file.flatMap(line => line.split(",")).map((word => (word,1))...
2019-06-08 20:02:02
92
原创 [Spark][spark_core]#0_spark安装
编译安装Local模式[root@node00 java]# spark-shell --master local[2]http://192.168.106.100:4040/jobs/Standalone模式cp conf/spark-env.sh.template spark-env.shvi spark-env.shSPARK_MASTER_HOST=localhostS...
2019-06-08 19:53:18
110
原创 [storm]#2_storm常用命令
storm list 查看作业storm kill topolody-name 终止作业kill -9 pid,pid,
2019-06-05 22:15:06
141
原创 [storm]#0_storm部署
单机版下载storm 并解压vi /etc/profileexport STORM_HOME=/usr/local/storm-1.1.1export PATH=$PATH:$STORM_HOME/binvi storm-1.1.1/conf/storm-env.sh/usr/java/jdk1.7.0_674.storm启动nohup sh storm dev-zoo...
2019-06-05 21:35:03
92
原创 [storm]#1_初识storm
pom.xml<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version...
2019-06-05 17:28:29
138
原创 [MyBatis]#0_环境搭建
新建Maven工程pom.xml: <dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <ve...
2019-05-31 17:40:12
177
原创 [hadoop][hbase]#50_hbase安装部署
伪分布式首先要开启hadoop$ start-dfs.sh$ start-yarn.sh下载 http://mirror.bit.edu.cn/apache/hbase/hbase-1.2.12/hbase-1.2.12-bin.tar.gz 并解压配置文件hbase-1.2.12/conf/hbase-site.xml<configuration>...
2019-05-28 16:50:43
118
原创 [hadoop][redis]#72_redis持久化
RDBredis/redis.confsave 900 1 #900秒1次修改save 300 10save 60 10000#触发一次则保存，并且计时器计数器清0...dbfilename dump.rdb #rdb名dir ./ #保存路径AOFredis/redis.confappendonly no #默认no，启用yesappend...
2019-05-27 21:39:24
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人