- 博客(16)
- 收藏
- 关注
RSS订阅原创 hive 函数
编译自定义的funcation代码(自定义函数用Java语言编写，需要继承Hive提供的UDF、UDAF或UDTF类，然后实现相应的方法)，并用mvn clean package打成jar包；将jar包上传到hive数据库安装的lib目录下；将自定义函数包加到环境中：add jar 具体jar包；创建自定义funcation:create temporary funcation 函数名 as ’类名‘执行自定义函数；
2024-02-20 00:20:22
355
原创 linux历史命令搜索
因为有些服务器会禁用了ctrl+r命令，所以只能通过设置来实现历史命令的搜索功能，提示工作效率，并且比 ctrl+r 更准确、有效的在历史命令纪录中查找自己想要的命令。
2023-06-20 11:42:31
200
1原创 eclipse中xml文件提示功能的配置
方式有两种方式一：在网络良好的情况下可以联网下载方式二：配置window ->proferences -> xml -> Xml Catalog -> User Specified Entries -> add -> File System ->本地文件所在位置，Key Type: 选择URL,Key粘贴：http地址点击刚才添加的文件，编辑，Key type :Public ID ,将-//mybatis.org//DTD Config 3.0/
2020-07-19 16:18:57
332
原创 Redis实战
要求：1、输入手机号，点击发送后随机生成6位数字码，2分钟有效2、输入验证码，点击验证，返回成功或失败3、每个手机号每天只能发送3次验证码在WEB-INF目录下新建一个名为lib的Folder文件夹，并在该文件夹下添加如下jar包在WebContent目录下新建一个文件夹，并在该文件夹下添加js、css、jquery等样式编写一个输入手机号码和验证码的前端页面```javascript<%@ page language="java" contentType="text/html
2020-07-06 22:34:22
166
原创 Git基于eclipse的使用
一、将本地eclipse中的项目推送到远端库在eclipse中新建项目编写相应的代码将工程初始化为本机库，在工程上右键 -> Team -> Share Project -> Git在弹出窗口中如下操作创建本地库，最后finish忽略文件概念：Eclipse 特定文件这些都是 Eclipse 为了管理我们创建的工程而维护的文件，和开发的代码没有直接关系。最好不要在 Git 中进行追踪，也就是把它们忽略。.classpath 文件.project 文件.s
2020-07-04 20:03:55
245
原创 Nginx的安装和使用
参考(https://www.cnblogs.com/youngzhao/p/12150628.html)什么是Nginx，它有什么作用Nginx的安装与启动第一步，先安装pcre将 pcre-8.37.tar.gz安装包放在/usr/local/src目录下，解压安装包tar -xvf pcre-8.37.tar.gz进入/usr/local/nginx/sbin目录下，执行./configure，完成后回到pcre目录下执行 make && makeinstal命
2020-06-13 11:19:11
334
原创 马踏棋盘算法
马踏棋盘算法优化前的原始算法public class HorseChessBoard { //二维数组，表示棋盘 private static int X = 6;//表示列col private static int Y = 6;//表示行row private static int[][] chessBoard = new int[Y][X];//棋盘 private static boolean[] visited = new boolean[X * Y
2020-06-10 22:18:21
626
原创 spark读hbase表中的数据
spark操作hbase中的数据1、在hbase中创建表，并添加相应的数据hbase(main):002:0> create 'tb','info'0 row(s) in 23.4720 seconds=> Hbase::Table - tbhbase(main):003:0> put 'tb','1001','info:name','Tom'0 row(s) in...
2020-04-23 20:47:54
441
原创 Spark SQL中的结构化数据
Spark Sql操作需要将以下两个配置文件复制到spark安装目录下的conf目录下core-site.xmlhive-site.xml启动spark-shell操作命令行模式scala> scres4: org.apache.spark.SparkContext = org.apache.spark.SparkContext@27ea552dscala> impo...
2020-04-16 11:31:57
213
原创 Flume之telnet的安装
Telnet的安装查看本机是否安装了telnet[root@hadoop131 flume]# rpm -qa | grep telnet如果没有显示任何信息，则说明没有安装telnet安装安装xinetd [root@hadoop131 hadoop]# yum install xinetd安装telnet[root@hadoop131 hadoop]# yum ins...
2020-03-20 16:29:46
530
原创 Spark之WordCount案例
在idea中完成wordcount程序编写、在windows本机和集群环境下分别运行Windows本机运行scala程序如下：object SparkWorldCount {def main(args: Array[String]): Unit = {//1、做出scval conf = new SparkConf()conf.setMaster("local")conf.s...
2020-03-12 16:21:57
367
原创 spark集群搭建
集群修改修改配置文件1、修改配置文件conf/spark-env.sh在spark-env.sh中添加如下代码：exportJAVA_HOME=/opt/module/jdk#exportSPARK_MASTER_HOST=hadoop131#exportSPARK_MASTER_PORT=7077exportSPARK_DAEMON_JAVA_OPTS="-Dspark.d...
2020-03-10 17:01:55
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人