迎接小天使

原创 ES的操作命令

ES的操作命令ES启动命令(后台)./bin/elasticsearch -dES复制索引到另一个索引post _reindex{ "source": { "index": "kg.controller" }, "dest": { "index": "kg.controllerback", "op_type": "create" }}查询快照仓库和快照curl -XGET 'http://192.168.68.128:9201/_snapshot

原创 elasticsearch集群安装

3台机器elasticsearch集群所需软件：1.jdk82.elasticsearch6.3.23.elasticsearch-head在安装elasticsearch之前，先安装jdk1.8。集群规划主机名角色备注192.168.68.128主节点node-1192.168.68.128从节点node-2192.168.68.128从节点node-3一、下载解压安装包tar -zxvf elasticsearch-6.3.2.tar.

原创 SecureCRT免费版下载

SecureCRT免费版下载https://www.pcsoft.com.cn/soft/194217.html

原创 spring securty--IllegalArgumentException:There is no PasswordEncoder mapped forthe id “null”

在spring security中设置默认的登录人的信息，遇到的异常信息：java.lang.IllegalArgumentException: There is no PasswordEncoder mapped for the id “null”有些版本不要求这样子做,所以就不会有该问题的发生,我现在用的是5.0版本,强制要求提供一个,所以我们就给一个PasswordEncoder给他.我们也可以使用Spring自带的PasswordEncoder.为了方便起见,我们以明文形式存密码在后台,故使

原创 Excel 的一列填充相同的内容

第一步、到最后一行ctrl+shfit +方向下键第二步、选中对应的列ctrl+shfit +方向上键第三步、填充内容ctrl+D 键

原创 Windows10安装vue脚手架

第一步、安装nodejs相关链接https://blog.csdn.net/qq_37554565/article/details/107815437第二步、安装Vue脚手架1.使用淘宝镜像安装cnpmnpm install -g cnpm –registry=https://registry.npm.taobao.org注：国外的源下载会很慢，只要你慢你就可以换成国内淘宝的源，加**–registry=https://registry.npm.taobao.org** 即可2.出现以下

原创 spark的outerjoinvertices简介

一、outerjoinvertices的介绍graphx中的基本结构，其中有vertex 和edgevertex：包括点和属性，也就是类似于（id, attr）edge：包括原点， 目标点， 边属性，类似于(src, dst, attr)outerjoinvertices是对顶点进行的操作，所以不涉及边outerjoinvertices：这个操作会把关联上的定点的属性给重新赋值,所以这样join的话就有点leftjoin的感觉 def outerJoinVertices[U: Class

原创 Hive表导出成csv文件

hive导出CSV文件hive -e "set hive.cli.print.header=true; #将表头输出 select * from data_table where some_query_conditions" | sed 's/[\t]/|!?|/g' > hivefile.csvset hive.cli.print.header=true将表头输出；sed ‘s/[\t]/,/g’ 将\t替换成|!?|将shell里打印的内容输出到文件...

原创 Spark的combineByKey详解

spark的combineByKey算子还是相对比较难理解的,所以在记录下分析理解的过程,以便回顾。一、spark的combineByKey源码 /** * Simplified version of combineByKeyWithClassTag that hash-partitions the resulting RDD using the * existing partitioner/parallelism level. This method is here for backwa

原创 sparkGraph的 aggregateMessage函数介绍

一、aggregateMessage函数aggregateMessage函数有两个大操作，一个是sendMsg，一个是mergeMsg。aggregateMessages函数其对象是三元组。sendMsg是将三元组的属性信息进行转发，mergeMsg是将sendMsg转发的内容进行聚合。sendMsg函数以EdgeContex作为输入参数，没返回值，提供两个消息的函数sendToSrc：将Msg类型的消息发送给源节点sendToDst:将Msg类型消息发送给目的节点。通俗理解：即以边为对象，向

原创 sparkGraph的pregel

本文是为了加强s理解park的pergel算法![在这里插入图片描述](https://img-blog.csdnimg.cn/20200809180931188.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTU0NTY1,size_16,color_FFFFFF,t_70**一：Spark GraphX Pregel：*

原创 windows安装hadoop及配置

总结下windows下安装hadoop环境,方便下次使用,本次的麻烦就是下次的方便一、环境准备1、JDK安装2、Hadoop安装包（官网下载）2、下载hadoop安装包3、准备hadoop windows的插件二、安装配置1、以管理员身份解压Hadoop安装包2、配置Hadoop环境变量，我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量，新建HADOOP_HOME，然后将%HADOOP_HOME%\bin添加到Path中。3、新建da

原创 Node.js安装及环境配置之Windows篇

Node.js安装及环境配置之Windows篇一、安装环境1、本机系统：Windows 10 Pro（64位）2、Node.js：v6.9.2LTS（64位）二、安装Node.js步骤1、下载对应你系统的Node.js版本:https://nodejs.org/en/download/2、选安装目录进行安装3、环境配置4、测试三、前期准备1、Node.js简介简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于 Chrome V8 引擎的 Ja

原创 ES别名操作

添加索引别名 curl -XPOST 'http://localhost:9200/_aliases' -d ' { "actions": [ {"add": {"index": "test1", "alias": "alias1"}} ] }'删除索引别名 curl -XPOST 'http://localhost:9200/_aliases' -d ' { "actions": [

原创 LINUX SHELL判断文件、目录是否存在

判断目录是否存在：path="/home"#if [ ! -d ${path} ];thenif [ -d ${path} ];then echo dir ${path} exist!else echo dir ${path} not exist!fi判断文件是否存在:file="/home/log.txt"if [ -f ${file} ];then echo file ${file} exist!else echo file ${file} not e

转载 spark-submit提交(转)

文章出处：https://blog.csdn.net/chenjieit619/article/details/53421080如有不妥之处，欢迎随时留言沟通交流，谢谢~在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设...

原创 idea Process finished with exit code -1073741819 (0xC0000005)

idea竟然不能和金山一起,我装的idea版本2019.1.2。好奇葩,金山一卸载就正常了。不能用金山了。。。idea Process finished with exit code -1073741819 (0xC0000005)

转载 spark的reduceByKey

在进行Spark开发算法时，最有用的一个函数就是reduceByKey。reduceByKey的作用对像是(key, value)形式的rdd，而reduce有减少、压缩之意，reduceByKey的作用就是对相同key的数据进行处理，最终每个key只保留一条记录。保留一条记录通常有两种结果。一种是只保留我们希望的信息，比如每个key出现的次数。第二种是把value聚合在一起形成列表，这样后...

原创 idea中通过spark访问hive

IDEA中使用Spark SQL 连接Hive折腾了两个小时，好久没有弄了，记录一下一、复制hive-site.xml复制hive-site.xml到idea工程中的resource目录下二、在windows中安装hadoop并配置环境变量1、解压hadoop2、修改hadoop etc/hadoop中的hadoop-env.cmd、mapred-env.sh、yarn-env.sh...

原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

敲黑板 ，引入的依赖 一定要 “compile” 或则 “runtime”，否则spark conf 无法初始化，这辈子也运行不了，千万不要是 “provided". <dependency> <groupId>org.apache.spark</groupId> <artifactId&gt...

原创 hive创表后，查看表注释是乱码的

问题：hive创表后，查看表注释是乱码的DROP TABLE IF EXISTS test;CREATE TABLE IF NOT EXISTS testdb.test(COMPANYNAME VARCHAR(400) COMMENT '请求的公司名称',CYM VARCHAR(400) COMMENT '请求公司的曾用名',SHIXINID VARCHA...

原创 es-的水平扩容和容错性

原创 es-分布式架构

原创 es-使用bool查询

原创 es-聚合查询

原创 Neo4j

一、什么是图数据库二、neo4j安装与启动Cypher查询语言

原创 es-filter查询

原创 es-基本中文查询

原创 es-英文基本查询

原创 es-mapping

能查看文档字段的类型手动创建mapping

原创 es-版本控制

原创 Elasticsearch用Bulk API实现批量操作

批量插入POST /lib2/books/_bulk{"index":{"_id":1}}{"title":"Java","price":55}{"index":{"_id":2}}{"title":"Python","price":55}{"index":{"_id":3}}{"title":"Scala","price":90}{"index":{"_id":4}}{"t...

原创 Elasticsearch用Multiget批量获取文档

批量获取文档GET /_mget{ "docs":[ { "_index":"lib", "_type":"user", "_id":"1" }, { "_index":"lib", "_type":"user", "_id":"3" }, { "_index":"lib", "_typ...

原创 linux安装elasticsearch的中文分词器

一、下载中文分词器elasticsearch-analysis-ikhttps://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.3.2二、用解压解压elasticsearch-analysis-ik-6.3.2.zipunzip elasticsearch-analysis-ik-6.3.2.zip三、进入到el...

原创 linux安装maven

一、下载maven安装包 wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz二、解压缩安装包三、配置maven环境变量vim /etc/profileexport MAVEN_HOME=/opt/apache-maven-3.5.4export...

原创 安装配置kibana

一、下载安装kibanawget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz二、解压缩包tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz 三、修改conf下的vim kibana.ymlserver.host: "192.168.56...

原创 Elasticsearch的增删改查

1、插入索引 libPUT /lib/{ "settings":{ "number_of_shards":3, "number_of_replicas":0 } }2、获取索引lib的配置信息GET /lib/_settings3、插入类型user下标为1到索引lib中PUT /lib/user/1{ "name":"liushujie", ...

原创 Linux下安装node安装及cnpm

1.root 登录linux2.没有目录就自己创建一个cd /usr/local/node/3.下载安装包wget https://npm.taobao.org/mirrors/node/v4.4.7/node-v4.4.7-linux-x64.tar.gz4.解压安装包tar -zxvf node-v4.4.7-linux-x64.tar.gz5.移除安装包rm -rf no...

集群配置-安装es

一、下载es安装包https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz二、解压安装包[hadoop@hadoop4 softwares]$ tar -zxvf elasticsearch-6.3.2.tar.gz -C /usr/local/modules/三、创建es用户和组[...

原创 集群搭建--修改克隆后的虚拟机IP地址

一、修改IP地址vi /etc/sysconfig/network-scripts/ifcfg-eth0su root[root@hadoop1 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:E2:4D:44"IPV6INIT=...