BrightMoons-CSDN博客

原创 Elasticsearch入门 - 简单上手

1.1ES简介ES是使用java 语言并且基于lucence编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于restful风格的web 接口。lucence:一个搜索引擎底层分布式：突出ES的横向扩展能力全文检索：将一段词语进行分词，并将分出的词语统一的放在一个分词库中，再搜索时，根据关键字取分词库中检索，找到匹配的内容（倒排索引）。restful风格的web 接口：只要发送一个http请求，并且根据请求方式的不同，携带参数的不同，执行相应的功能。应用广泛：WIKI, gi

2020-10-28 16:58:06 680

原创启动Hadoop集群遇到Permission denied (publickey,password)问题的解决方法

百度上搜到的答案同质化比较严重（基本是sshkey），谷歌上搜到的答案存在越扯越远脱离原问题的不足，也可能是因为大佬不屑于用简单的方法解决问题。解决方法网上一搜一大把，基本是有两种方法，第一种只会影响到本用户所处的环境，第二种会影响到整个根目录（因为要修改。启动集群测试，如果还遇到问题，一般是别的地方有bug，检查一下hadoop那些配置文件写得对不对，第二次是自定义一个密码，该密码用在哪里本例不需要，所以直接回车，默认无密码就行。启动集群时需要与多台slave主机通信，但没有实现ssh免密，所以报错。

2022-11-23 13:34:18 7311

原创 Sqoop使用笔记

sqoop 常用命令*一、Sqoop与MySQL**1.列出********mysql********数据库中的所有数据库*sqoop list-databases -connect jdbc:mysql://192.168.1.10:3306 -username root -password root*注意：*以下URL写法，都可以jdbc:mysql://192.168.1.10:3306/（推荐）jdbc:mysql://192.168.1.10/jdbc:mysql://192.1

2021-09-01 16:08:16 699

原创使用beeline工具连接Hive

###使用beeline工具连接Hive####第一步:修改hadoop的hdfs-site.xml文件在该文件中添加以下内容,开启HDFS的REST接口功能:<property> <name>dfs.webhdfs.enabled</name> <value>true</value></property>####第二步:修改hadoop的core-site.xml文件在文件中添加以下内容,设置代理用户:

2021-09-01 16:00:37 1006

原创 Azkaban API 文档详细讲解

Azkaban API 文档详细讲解AuthenticateCreate a ProjectDelete a ProjectUpload a Project ZipFetch Flows of a ProjectFetch Jobs of a FlowFetch Executions of a FlowFetch Running Executions of a FlowExecute a FlowCancel a Flow ExecutionSchedule a period-bas

2020-11-19 15:29:40 1517

原创 Hive on Spark 项目环境配置及优化

背景介绍背景Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。简介Hive on Spark是从Hive on MapReduce演进而来，Hive的整体解决方案很不错，但是从查询提交到结

2020-10-28 17:46:06 1013

原创 Linux下安装Mysql 详细

pm -qa | grep mysqlrpm -qa | grep mariadbyum -y remove mariadb-libs-5.5.56-2.el7.x86_64卸载tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar 解压rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpmrpm -ivh --nodeps mysql-community-client-5.7.1

2020-07-08 15:33:10 146

原创 Linux人门命令 -轻松上手

vim /etc/hostname 编辑用户名 o i 编辑内容select info[‘aaa’] from mapData;cd /etc/syconfig/network-scripts/ 进入系统touch 文件名创建文件chkconfig firewalld off 永久关闭防火墙service firewalld status 查看状态查看系统中网卡信息使用的命令 ifconfigpoweroff关机 Reboot

2020-07-08 15:32:21 222

BrightMoons的博客