- 博客(22)
- 收藏
- 关注
RSS订阅原创 hugegraph属性解释
示例一：// Define schemaschema.propertyKey(“name”).asText().ifNotExist().create();schema.propertyKey(“age”).asInt().ifNotExist().create();schema.propertyKey(“city”).asText().ifNotExist().create();schema.vertexLabel(“person”).properties(“name”, “age”, “ci
2020-06-28 14:16:40
1184
原创 hugegraph基本使用
HugeGraphServerHugeGraphServer(后面简称HGserver)封装的REST-API提供了多种资源访问方式, 常见的5种: (建议postman内测试)graph: 查询vertices、edges (e.g. : IP:8080/graphs/hugegraph/graph/vertices)schema : 查询vertexlabels、 propertykeys、 edgelabels、indexlabels (e.g. : IP:8080/graphs/hugegr
2020-06-25 18:36:53
2323
原创 hugegraph数据导入
Hugegraph-Loader使用Hugegraph-Loader 来进行数据+Schema的批量导入, 那这时候我假定整个DB都是空的, 包括Schema和数据我们都用导入工具去导入/修改 ,那显然至少得准备:1.图模型Schema文件 (groovy)2.点 & 边的数据文件 (csv/text/json , 建议按不同点/边分文件夹放置)3.Schema和数据的映射文件 [也就是(1)和(2)的映射] (json)这里说一下批量导入的时候, 实际生产上各参数的配置和相关问题1.首
2020-06-25 18:19:37
2262
2
原创 hugegraph安装部署
hugegraph安装的步骤版本说明（都是最新版本 截止20200625）组件名称组件版本hugegraph-loader-0.10.10.10.1hugegraph-0.10.40.10.4hugegraph-studio0.10.0hugegraph-tools1.4.0安装#(可选)如果是单机测试,rocksDB需要gcc环境# 如果使用的是RocksDB后端，请务必执行gcc --version命令查看gcc版本；若使用其他后端，则不需要
2020-06-25 14:32:06
2555
原创 基于ES的自动联想补全
# 1 安装ik 分词器 滤过# 2 测试ik分词器是否可用GET /_analyze{ "text": "分词器", "analyzer": "ik_max_word"}# 3 put es结构DELETE /ik_indexPUT /ik_index{ "settings": { "index": { "refresh_interval": "10s", "number_of_shards" : "5", "number
2020-06-08 14:46:37
1319
原创 xcall.sh
#!/bin/bashservers="node1 node2 node3"params=$@for i in $serversdo echo ==============$i=================== ssh $i "source ~/.bash_profile ; $params"donexcall.sh jps
2020-03-17 20:39:32
216
原创 zk.sh
#!/bin/bash#配置ES的安装目录 修改的地方1 脚本可以自己创建zkServers='node1 node2 node3'zkPath="/opt/module/zookeeper-3.4.10/bin/zkServer.sh"#启动所有的zkcase $1 in"start"){ for i in $zkServers do ssh $i "$zkPath star...
2020-03-16 16:13:50
209
原创 shell免密
$>ssh-copy-id bigdata@cdh01$>ssh-copy-id bigdata@cdh02$>ssh-copy-id bigdata@cdh03$>ssh-copy-id bigdata@cdh04$>ssh-copy-id bigdata@cdh05
2020-03-16 14:27:32
143
原创 机器学习特征处理常用方法
1 使用均值填充#空值的处理X = X.replace("?", np.NAN)# 使用Imputer给定缺省值，默认的是以mean# 对于缺省值，进行数据填充；默认是以列/特征的均值填充imputer = Imputer(missing_values="NaN")X = imputer.fit_transform(X,Y)2 字符数据进行编码from sklearn.p...
2019-08-25 11:44:54
837
原创 es mapping配置
自己用的es mapping文件PUT /poc6 { "settings": { "index": { "refresh_interval": "1s", "number_of_shards": 5 , "number_of_replicas": 1, "translog": { "flush_threshold_s...
2019-05-20 11:22:22
472
原创 shell脚本导出es中的数据
shell脚本导出es中的数据#!/bin/bash string="aa.com bb.com" array=(${string// / }) for var in ${array[@]}do echo $varcurl -XGET "http://192.168.8.23:9200/poc/showlog/_search" -d'{ "query": { ...
2019-05-19 15:44:34
1309
原创 shell脚本es备份数据
shell脚本es备份数据，基于hdfs_repository，可参考我之前的文档https://blog.csdn.net/guajidai0165/article/details/90343296#!/bin/bash#在windows编写的代码可能运行有问题执行以下 1>vim redisshell.sh 2>:set ff=unixesip=192.168.8.23e...
2019-05-19 15:43:10
785
1
原创 elasticsearch数据迁移备份还原
需求一：elasticsearch中的数据需要每天备份需求二：elasticsearch5.2中的数据要迁移到elasticsearch6.5.4中方案：采用repository-hdfs插件进行数据的迁移备份和还原疑问一elasticsearch本来分布式有副本为什么要备份数据？？任何一个存储数据的软件，都需要定期的备份我们的数据。es replica提供了运行时的高可用保障机制，可以...
2019-05-19 15:41:30
2824
原创 shell脚本停止大数据组件
1 停止elasticsearch集群#!/bin/bashesServers='cdh01 cdh02'#启动所有的elasticsearchfor es in $esServersdo ssh -T $es <<EOF source ~/.bash_profile ps aux |grep elasticsearch |grep -v grep...
2019-05-17 14:14:50
217
原创 shell脚本启动大数据组件
1 启动elasticsearch集群#!/bin/bash#配置ES的安装目录 修改的地方1 脚本可以自己创建esServers='cdh01 cdh02'#启动所有的zkfor es in $esServersdo ssh -T $es <<EOF source ~/.bash_profile elasticsearch -dEOFecho...
2019-05-17 14:09:37
1355
原创 shell脚本一键部署kibana
#!/bin/bash#配置Kibana的安装目录 修改的地方1 脚本可以自己创建echo -e "请输入kibana的安装目录,不存在脚本自动创建,例如 /bigdata/install"read kibanainstallpath#创建Kibana安装的目录if [ ! -d $kibanainstallpath ]; then mkdir -p $kibanainstal...
2019-05-17 11:25:03
451
原创 shell一键部署zk集群
#!/bin/bash#配置zk的安装目录 修改的地方1 脚本可以自己创建currentTime=$(date '+%Y-%m-%d %H:%M:%S')echo -e "请输入zk的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"read zkinstallpath#创建zk安装的目录if [ ! -d $zkinstallpath ]; then...
2019-05-17 11:22:39
420
原创 shell脚本一键安装kafka集群
shell脚本一键安装kafka集群#!/bin/bash#在脚本的位置存放安装包kafka_2.11-0.10.2.1.tgzcurrentTime=$(date '+%Y-%m-%d %H:%M:%S')echo -e "请输入kafka的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"read kafkainstallpath#创建KAFKA安...
2019-05-17 10:17:15
788
原创 es6.5.4破解xpack
1 替换x-pack-core-6.5.4.jarmdkir -p /bigdata/xpackpojiecp /bigdata/install2/elasticsearch-6.5.4/modules/x-pack-core/x-pack-core-6.5.4.jar /bigdata/xpackpojiecp /bigdata/install2/elasticsearch-6.5.4/...
2019-05-16 17:58:16
1446
原创 shell脚本一键部署jdk
#!/bin/bash#配置jdk的安装目录 修改的地方1 脚本可以自己创建currentTime=$(date '+%Y-%m-%d %H:%M:%S')echo -e "请输入jdk的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"read jdkinstallpathecho -e "请输入jdk的版本 例如 8"read jdkversion...
2019-05-16 17:22:31
842
原创 shell脚本一键安装elasticsearch分布式
#!/bin/bash#配置ES的安装目录 修改的地方1 脚本可以自己创建currentTime=$(date '+%Y-%m-%d %H:%M:%S')echo -e "请输入es的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"read esinstallpath#创建ES安装的目录if [ ! -d $esinstallpath ]; then...
2019-05-16 17:20:50
1169
原创 一键安装hadoop完全分布式shell脚本
#!/bin/bash#配置ES的安装目录 修改的地方1 脚本可以自己创建##在windows编写的代码可能运行有问题执行以下 1>vim redisshell.sh 2>:set ff=unixecho -e “请输入hadoop的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install”read esinstallpath#创建ES安装的目录i...
2019-05-16 16:58:46
1403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人