![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
西城xml
To be better me
展开
-
大数据和云计算的区别
Big data refers to voluminous, large sets of data whereas cloud computing refers to the platform for accessing large sets of data. In other words, big data is information while cloud computing is the ...原创 2019-02-12 16:20:22 · 256 阅读 · 0 评论 -
elasticsearch入门系列6----analyzer分词器功能
内容暂缺,记录一下ik分词器的安装安装(记得把v后面和ik后面的版本号换成与自己es兼容的版本即可)[root@localhost elasticsearch-5.5.2]# ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5...原创 2019-06-22 17:15:59 · 253 阅读 · 0 评论 -
Flink入门系列2----Linux安装flink并启动
准备工作1). 安装jdk8:https://blog.csdn.net/xichengqc/article/details/880564192). 安装文件上传工具:yum install lrzsz3). 安装nc:yum install nc上传解压flinkhttps://flink.apache.org/downloads.html下载Apache Flink 1.x...原创 2019-06-12 11:28:59 · 5363 阅读 · 2 评论 -
elasticsearch入门系列5----java api操作es
遇到的问题:java.lang.nosuchfielderror shared解决:添加了包依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> ...原创 2019-06-21 09:44:59 · 198 阅读 · 0 评论 -
Flink入门系列4----DataStream API编程
使用mvn创建一个flink-quick-start项目,自定义gav和包名mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.8.0创建完成后使用windows命令查看所有文件E:\gi...原创 2019-06-16 09:30:56 · 464 阅读 · 0 评论 -
Flink入门系列3----多机部署standalone集群
目标:搭建一个jobmanager、两个taskmanager的集群克隆一个flink机器,作为jobmanager,修改配置配置masters192.168.133.181:8081修改slaves192.168.133.182192.168.133.183修改flink-conf.yamljobmanager.rpc.address: 192.168.133...原创 2019-06-15 22:31:57 · 1248 阅读 · 0 评论 -
Flink入门系列1----windows安装flink并启动
下载(注:flink需要jdk版本在8.x之上):https://flink.apache.org/downloads.html下载Apache Flink 1.x.x for Scala 2.11 (asc, sha512),本地解压运行进入解压目录的bin目录,运行start-cluster.bat,启动成功后本地访问http://localhost:8081执行一个程序D:\...原创 2019-06-10 14:42:44 · 18537 阅读 · 7 评论 -
es入门系列2----elasticsearch配置
es默认使用config目录下的elasticsearch.yml中的配置,接下来我们修改配置文件,配置集群信息和外部访问[root@localhost config]# vim elasticsearch.yml 配置信息如下(文件从上到下):cluster.name: elsticsearchnode.name: node01path.data: /home/softwar...原创 2019-06-02 23:03:15 · 258 阅读 · 0 评论 -
elasticsearch入门系列4----logstash安装
上传logstash安装包,解压并启动[root@localhost bin]# ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'在控制台输入helloword,可以看到以下信息输出,证明启动成功[2019-06-09T01:03:10,707][INFO ][logstash.agent ...原创 2019-06-08 17:46:35 · 149 阅读 · 0 评论 -
es入门系列1----elasticsearch安装
相关安装文件位置:链接:https://pan.baidu.com/s/1md2w6GJiXzsUKzBXJmJNBA提取码:1dj7将elasticseach安装包上传到虚拟机并解压[root@localhost tempfile]# tar zxvf elasticsearch-5.5.2.tar.gz [root@localhost tempfile]# mv elastics...原创 2019-06-02 21:30:33 · 123 阅读 · 0 评论 -
es入门系列3----head插件&kibana插件
安装head插件时费了较大力气,在公司装成功了,然而在家失败了,多次反复无果,发现head插件安装靠运气;于是想到了es的另一个可视化插件,也是官方推荐的可视化插件----kibana。发现安装也比较容易,而且功能比head更加丰富,所以建议使用kibana本文为了保持与es的兼容性,采用kibana5.5.2下载地址:https://artifacts.elastic.co/downloa...原创 2019-06-08 10:14:05 · 3924 阅读 · 0 评论 -
kafka入门系列3----kafka生产消费
创建一个叫topic131的主题[root@localhost bin]# sh kafka-topics.sh --create --zookeeper 192.168.133.131:2181 --replication-factor 1 --partitions 1 --topic topic131Created topic "topic131".切换到kafka-logs目录下...原创 2019-05-19 09:11:02 · 111 阅读 · 0 评论 -
kafka入门系列1----kafka安装前准备
准备虚拟机环境:本文基于vmware12+centos 6.8,搭建3台虚拟机环境集群来学习相关安装文件位置:链接:https://pan.baidu.com/s/1md2w6GJiXzsUKzBXJmJNBA提取码:1dj7复制这段内容后打开百度网盘手机App,操作更方便哦准备好之后通过yum安装上传命令rz:yum install lrzsz在根目录下创建tempfil...原创 2019-05-12 07:34:28 · 200 阅读 · 0 评论 -
kafka入门系列2-kafka安装
相关安装文件位置:链接:https://pan.baidu.com/s/1md2w6GJiXzsUKzBXJmJNBA提取码:1dj7上传kafka安装包到Linux并解压,三台虚拟机都安装进入config目录对server.properties文件进行配置broker.id=0 #集群中要保证每个id不一样log.dirs=/home/software/kafka/kafka-l...原创 2019-05-18 15:28:19 · 150 阅读 · 0 评论 -
elasticsearch入门系列7----补全功能(completion suggester)
建索引PUT business_line{ "mappings": { "business" : { "properties" : { "name" : { "type" : "completion", "analyzer": "i...原创 2019-06-22 21:36:41 · 1952 阅读 · 1 评论