![](https://img-blog.csdnimg.cn/20191023212317751.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 89
秋小苒
我也曾是一腔热血啊
展开
-
java调用shell脚本获取证书指纹
windows下cmd命令使用cmd /c dir 是执行完dir命令后关闭命令窗口cmd /k dir 是执行完dir命令后不关闭命令窗口cmd /c start dir 会打开一个新窗口后执行dir命令,原窗口会关闭cmd /k start dir 会打开一个新窗口后执行dir命令,原窗口不会关闭cmd /? 查看帮助信息*Java程序中执行脚本文件 public sta...原创 2019-09-10 19:37:42 · 397 阅读 · 0 评论 -
kafka实操(创建主题,生产者,消费者组,查看消费偏移,删除主题)
转载:kafka实操(创建主题,生产者,消费者组,查看消费偏移,删除主题)https://blog.csdn.net/u012369535/article/details/93844653A:同一个消费组,不同消费者各个消费者共享这个生产者的消息,消息不重复,即:一个生产者分区内的消息只能被一个消费者消费,不能被多个消费者同时消费。 每个消费者收到的消息来自于不同分区。B:不同消费组g...转载 2019-09-02 13:43:48 · 600 阅读 · 0 评论 -
阿里云伪分布式Kafa集群搭建的坑
在配置ip的时候一定要配置公网ip,不然外部无法访问可以使用telnet ip port测试zookeeper集群连接拒绝异常百度了个遍,也没找到答案伪分布式需要将几个server的clientPort的端口设置为不一样的,不然端口会被占用。dataDir=/usr/local/zookeeper/server1/datadataLogDir=/usr/local/zookeeper...原创 2019-07-26 10:46:16 · 248 阅读 · 0 评论 -
Scrapy学习笔记
入门教程第一篇:Scrapy菜鸟教程http://www.runoob.com/w3cnote/scrapy-detail.htmlscrapy保存信息Scrapy可以支持的几种格式:(‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’)-o 输出指定格式的文件,命令如下:csv 逗号表达式,可用Excel打开scr...原创 2019-04-12 00:14:59 · 291 阅读 · 0 评论 -
一致性hash算法和redis集群动态数据存储
转载:https://blog.csdn.net/sherry_y_fan/article/details/80293361转载 2019-03-01 16:49:23 · 188 阅读 · 0 评论 -
ElasticSearch基本操作
ES权威指南中文版https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.htmlElasticSearch组合查询https://www.cnblogs.com/yjf512/p/4897294.html过滤(filtering)的目标是减少那些需要通过评分查询(scoring queries)进行检...原创 2019-02-17 21:48:52 · 200 阅读 · 0 评论 -
ElasticSearch与关系型数据库
转载:还是原文排版更好看https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=9333&page=1&extra=#pid295301 响应时间MySQL背景:小刘在做测试时,发现当数据库中的文档数仅仅上万条时,关键词查询就比较慢了。如果一旦到企业级的数据,响应速度就会更加不可接受。原因:...转载 2019-02-18 11:02:25 · 1052 阅读 · 0 评论 -
ElasticSearch笔记一
实习的时候接触到的这个,留点笔记。查询样例也带不走,没法复制粘贴,也发不出去。基本概念ElasticSearch其实就是一种Json文档数据库。索引存放和读取的基本单元是文档文档相当于一个json对象文档有一个或多个域,每个域field由一个域名或多个值组成(有多个值的称为多值域)ElasticeSearch的数据结构转载:https://blog.csdn.net/codinga...转载 2019-02-17 21:28:33 · 375 阅读 · 0 评论 -
Java远程访问阿里云服务器上的redis
https://blog.csdn.net/aa1209551258/article/details/81542082折腾了那么久结果是自己之前安装的时候太个性化了,配置文件改的是安装目录的,需要改etc下面的,我的配置文件的名字是6379.conf。。。...原创 2019-01-30 14:55:13 · 953 阅读 · 0 评论 -
HBase笔记
列出所有表list列出匹配的表list ‘tableName.*’这里.之前是想要匹配的内容,.表示结束。其他的看这里吧。https://www.cnblogs.com/cxzdy/p/5583239.htmlHBase批量执行命令可以把要执行的一系列命令写到文件中create 'test', 'cf'list 'test'put 'test', 'row1', 'cf:a'...转载 2019-02-15 18:47:26 · 173 阅读 · 0 评论 -
redis5阿里云公网-伪分布式集群搭建
redis集群搭建https://www.cnblogs.com/shuai-server/p/8910672.htmlgem下载地址https://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem至于最新版我也不知道地址。我的redis没有bin目录,是从redis的src目录中编译之后到/usr/local/bin中产生的。然后...原创 2019-01-28 22:12:35 · 834 阅读 · 0 评论 -
Hadoop单节点集群安装配置,运行示例wordcount程序
格式化namenodehdfs namenode -format启动namenode和datanodestart-dfs.shjps查看jvm进程信息13352 SecondaryNameNode26536 Jps17530 DataNode13038 NameNode(之前是没有看到datanode的进程的,然后修改了hadoop安装目录下etc/hadoop/hdfs-si...原创 2019-01-22 22:19:00 · 486 阅读 · 0 评论