linux
qq_2631218300
这个作者很懒,什么都没留下…
展开
-
Sqoop环境搭建
Sqoop环境搭建1、Sqoop安装安装Sqoop前提是已经具备java、hadoop、hive、zookeeper、hbase、mysql的环境未安装完全的可参考jdk安装hive和hbase安装hadoop安装zookeeper安装mysql安装2、下载并解压首先上传安装包到opt目录并解压然后改名tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz mv sqoop-1.4.6-cdh5.14.2.tar.gz sqoop3、配置环境变量[roo原创 2020-09-26 14:40:02 · 181 阅读 · 0 评论 -
Hive UDF开发流程
Hive UDF开发流程前提:保证maven工程可以正常创建并使用,并且下载相关jar包配置maven工程可参考https://editor.csdn.net/md/?articleId=108408011步骤简介:1、继承UDF类或GenericUDF类2、重写evaluate()方法并实现函数逻辑3、编译打包为jar文件4、复制到HDFS路径5、使用jar创建临时/永久函数6、调用函数示例:实现计算两个小时的时间差首先写出实现函数的java代码public class HourD原创 2020-09-22 17:36:03 · 271 阅读 · 0 评论 -
Apache Hive高级查询(1)
select基础select 用于映射符合查询条件的行hive select 是数据库标准的SQL的子集--使用方法类似于MySQLSELECT 1;SELECT [DISTINCT] column_nam_list FROM table_name;SELECT * FROM table_name;SELECT * FROM employee WHERE name!='Lucy' LIMIT 5;CTE和嵌套查询CTE (Common Table Expression)--CTE语原创 2020-09-19 10:42:39 · 98 阅读 · 0 评论 -
Hbase和Hive安装
安装Hbase1、解压压缩包到opt目录下,改名为hbase2、配置环境变量:export HBASE_HOME=/opt/hbaseexport PATH=$ PATH:$HBASE_HOME/bin3、然后cd /opt/hbase/conf,在输入vi hbase-env.sh进入底部添加:export JAVA_HOME=/opt/java8(java8为你的jdk的文件名)export HBASE_MANAGES_ZK=true输入:set nu注释45 46 行4、输入vi h原创 2020-09-15 15:43:03 · 527 阅读 · 0 评论 -
Hadoop HA模式高可用搭建
Hadoop HA模式高可用搭建首先需要集群搭建,zookeepr安装配置,这些可以参考前面两篇博客再次基础上,对文件进行修改1、修改core-site.xml包括name集群的名称和zookeeper 2181地址2、修改hdfs-site.xmlnameservices集群下面的各个nameservice服务对应的映射rpc-address的地址9000http-address的地址50070journalnode的共享地址(各个datenode)qjournal://datano原创 2020-09-08 20:17:37 · 161 阅读 · 0 评论 -
Hadoop完全分布式搭建
Hadoop完全分布式搭建1、上传压缩包并解压到opt目录下,改名hadoop2、配置环境变量export HADOP_HAOME=/opt/hadoopexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIV原创 2020-09-08 16:02:06 · 157 阅读 · 0 评论 -
Query DSL
Query DSL-1叶查询子句(Leaf query clauses)用于在特定字段中查找特定值match查询term查询range查询复合查询子句(Compound query clauses)可以包含叶子或者其它的复杂查询语句bool查询Query DSL-2match_all:返回所有文档GET stu/_search{“query”: {“match_all”: {}}}Query DSL-3match:布尔匹配查询对查询字符串进行分词,根据分词结果构造布尔查原创 2020-09-01 18:41:37 · 107 阅读 · 0 评论 -
常用shell脚本
【脚本1】图形直角三角形等腰三角形菱形【脚本2】tomcat启动这里启动脚本考虑的因素并不是很多,可以进行增加【脚本3】截取字符串假如有如下字符串s=http://www.aaa.com/root/123.html1、取出www.aaa.com/root/123.htm2、取出123.htm3、取出http://www.aaa.com/root4、取出http:5、取出http://6、取出www.aaa.com/root/123.htm7、取出1238、取出123.原创 2020-08-29 15:18:21 · 108 阅读 · 0 评论 -
Linux常用命令
Linux常用命令echo命令使用echo命令可以打印变量的值echo $PATHprintenv命令·printenv命令可以打印环境变量printenvmore、less命令more、less命令可以查看文件内容语法:more/less [参数] 文件moreLinux more 命令类似 cat ,不过会以一页一页的形式显示,更方便使用者逐页阅读,而最基本的指令就是按空白键(space)就往下一页显示,按 b 键就会往回(back)一页显示,而且还有搜寻字串的功能(与 vi 相似原创 2020-08-27 19:03:03 · 76 阅读 · 0 评论 -
Linux常用命令
Linux常用命令(常用)一、目录命令1、增加目录(1)mkdir[/路径/]目录名2、删除目录(1)rmdir[/路径/]目录名3、改变目录(1) 复制: cp 原路径 新路径(2) 移动/重命名:mv原路径/原名 新路径/新名4、查看目录(1)查看当前路径:pwd(2)切换到路径:cd(3)查看目录内容:ls-a 展示所有文件(包括隐藏文件)-A(不包括当前目录和父目录)-l 展示所有文件的详细信息-R 递归查找所有子内容二、文件命令1、创建文件(1) touch原创 2020-08-25 20:03:08 · 77 阅读 · 0 评论 -
linux
linux创建用户时出现如下提醒useradd: warning: the home directory already exists. Not copying any file from skel directory into it.解决方法是依次输入userdel testrm -rf/home/testrm -rf /home/testrm -rf /var/spool/mail/testuseradd test...原创 2020-08-25 17:22:30 · 158 阅读 · 0 评论 -
linux报错
linux创建用户时出现以下报错useradd: group test exists - if you want to add this user to that group, use -g.意思是你得分组用户已经存在解决方法是删除该分组用户,输入groupde testl原创 2020-08-25 17:18:09 · 533 阅读 · 0 评论