- 博客(35)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 hive教程：配置hiveserver2（支持JDBC连接），使用beeline客户端连接
介绍为了让 java 程序可以连接 hive，执行sql，需要配置、启动 hiveserver2修改 hive-site.xml在 hive-site.xml 文件中添加如下配置信息：<!-- 指定 hiveserver2 连接的 host --><property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value></prope
2021-03-12 11:22:08
5003
原创 hive教程：启动hive客户端
启动hadoop需要启动 NameNode 、 DataNode、yarn启动 NameNode 和 DataNodestart-dfs.sh启动 yarnhive将任务提交给 yarn，所以需要启动yarnstart-yarn.sh启动 hive 客户端hive看到下面界面表示启动成功：红框中 加载之前配置的日志文件如下提示信息：Hive-on-MR is deprecated in Hive 2 and may not be available in the future
2021-03-12 11:21:32
1466
原创 hive教程：元数据和derby
元数据创建表后，表名、字段名、字段类型 等信息，就是 元数据默认保存到 derby 数据库中derbyderby介绍见 百度百科hive 与 derbyhive默认使用 derby 数据库，存储 元数据信息缺点由于 derby 是 文件级 数据库，所以只能启动一个 hive 客户端，再次启动会报错相当于 .xls 文件，只能由一个 excel 程序打开测试启动 2 个 hive 客户端就会报错启动 hive客户端命令：hive...
2021-03-12 11:19:52
378
原创 hive教程：启动hiveserver2，通过jdbc方式访问hive
介绍为了让 java 程序可以连接 hive，执行sql，需要配置、启动 hiveserver2修改 hive-site.xml在 hive-site.xml 文件中添加如下配置信息：<!-- 指定 hiveserver2 连接的 host --><property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value></prope
2021-03-12 11:19:21
4439
原创 hive下载、安装
下载官方：http://hive.apache.org/downloads.htmlhttp://archive.apache.org/dist/hive/清华镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/本文下载 3.1.2 版本hive 3.x 支持 hadoop 3.x，与 hive2.x 相比，改动不大hive 2.x 支持 hadoop 2.x安装把 apache-hive-3.1.2-bin.tar.gz 上传到
2021-03-12 11:18:32
2011
1
原创 hive教程：启动元数据服务，并访问hive
介绍之前只是在 linux终端 启动 本地 hive客户端，这种方式一般用于调试在开发中，需要 远程 连接 hive，执行 sql 语句修改配置修改 hive-site.xml 文件，添加如下配置信息vim $HIVE_HOME/conf/hive-site.xml增加下面内容：指定存储元数据要连接的地址<property> <name>hive.metastore.uris</name> <value>thrift://localhos
2021-03-11 16:41:14
7317
1
原创 hive教程：查看mysql存储的元数据
表信息表 tbls 保存的是 表 相关的信息列信息表columns_v2 保存的是 列 相关的信息hadoop存储路径信息表sds 保存的是 hadoop存储路径的相关信息
2021-03-11 11:44:21
375
原创 hive教程：第一次使用sql
显示数据库show databases;后面要带上 ;显示表show tables;创建表create table t_user (id string,username string,password string);注意：user 不能作为表名字段类型：类似java的类型hadoop web管理页面访问：http://localhost:9870默认存储路径：/user/hive/warehouse/表名insertinsert into t_user(id
2021-03-11 10:34:22
123
原创 centos7安装mysql5.7.32（.tar.gz解压缩版）
下载mysql地址：https://downloads.mysql.com/archives/community/下载版本：检测mariadbcentos7默认安装mariadb数据库，如果安装了，需要卸载检查是否安装 mariadbcentos7 默认会安装mariadbrpm -qa|grep mariadb如果显示如下：mariadb-libs-5.5.56-2.el7.x86_64说明安装了，需要卸载卸载 mariadbsudo rpm -e --nodeps mar
2021-03-10 23:52:36
749
原创 springboot教程-aop注解 @Aspect、@Before、@After、@AfterReturning、 @AfterThrowing
概述本文通过案例讲解：@Aspect、@Before、@After、@AfterReturning、 @AfterThrowing 注解的作用尤其是：@Before、@After、@AfterReturning、 @AfterThrowing 注解的执行顺序案例使用注解的方式实现aop，实现 不修改 UserSrvImpl 源代码的情况下，增加打印日志的功能创建maven工程略修改pom.xml添加依赖<dependencyManagement> <depende
2021-03-09 17:07:57
6234
原创 springboot教程-选择单例还是多例
单例的应用场景如 Controller、service、dao，没必要每个请求都新建一个对象，既耗费CPU、又耗费内存创建对象时耗时过多或者耗资源过多，但又经常用到的对象。没有成员变量的类频繁访问数据库或文件的类其他要求只有一个对象的场景多例的应用场景有成员变量的 service单例的问题service增加 name 成员变量，get、set方法@Servicepublic class StudentSrvImpl implements IStudentService {
2021-03-09 16:08:54
2670
2
原创 springboot教程-@Scope详解
介绍@Scope 注解用于指定作用范围源码@Target({ElementType.TYPE, ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface Scope { @AliasFor("scopeName") String value() default ""; @AliasFor("value") String scopeName() defau
2021-03-09 14:57:07
2188
原创 springboot教程-@Qualifier详解
提出问题在使用 @Autowired 注解时，可否根据 id 注入某个对象？解决问题注解 @Autowired 搭配 @Qualifier 注解，可实现 根据 id 注入某个对象此时与 @Resource 注解功能类似源码@Target({ElementType.FIELD, ElementType.METHOD, ElementType.PARAMETER, ElementType.TYPE, ElementType.ANNOTATION_TYPE})@Retention(Retention
2021-03-09 10:24:43
1027
原创 springboot教程-@Autowired详解（二）有多个匹配对象时
例子如果有多个 bean对象类型，与要注入的 变量类型 匹配，会报错增加 StudentSrvImpl2其内容与 StudentSrvImpl 相同执行报错如下：提示中 studentSrvImpl、studentSrvImpl2 是哪来的？定义 StudentSrvImpl 如下：//没有指定value属性，那么spring容器中默认id是 studentSrvImpl（与类同名，首字母小写）@Servicepublic class StudentSrvImpl implements
2021-03-09 10:23:57
1061
原创 springboot教程-@Autowired详解
上接：springboot教程-@Service详解概述本文介绍，使用 @Autowired 注解实现依赖注入源码@Target({ElementType.CONSTRUCTOR, ElementType.METHOD, ElementType.PARAMETER, ElementType.FIELD, ElementType.ANNOTATION_TYPE})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface Au
2021-03-09 10:23:26
869
原创 springboot教程-@Service详解
介绍对于 service 层的类，在类上用 @Service 注解声明源代码@Target({ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Documented@Componentpublic @interface Service { @AliasFor( annotation = Component.class ) String value() default "";}使用只能声明
2021-03-09 09:33:49
14802
原创 springboot教程-@ComponentScan注解
介绍指定要扫描某包下的注解源代码@Retention(RetentionPolicy.RUNTIME)@Target({ElementType.TYPE})@Documented@Repeatable(ComponentScans.class)public @interface ComponentScan { @AliasFor("basePackages") String[] value() default {}; @AliasFor("value") St
2021-03-08 21:42:11
147
原创 springboot主启动类启动过程（@SpringBootApplication）
主启动类package top.malaoshi;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplication //该注解标准主启动类public class Main { public static void main(String[] args) {
2021-03-08 16:55:50
3064
原创 springboot教程-@ComponentScan注解
介绍指定要扫描某包下的注解源代码@Retention(RetentionPolicy.RUNTIME)@Target({ElementType.TYPE})@Documented@Repeatable(ComponentScans.class)public @interface ComponentScan { @AliasFor("basePackages") String[] value() default {}; @AliasFor("value") St
2021-03-08 16:55:14
240
原创 springboot教程-IOC Controller的创建方式
提出问题在之前的例子中，Controller类都是可以直接使用的，我们并没有手动创建该类的对象那么 springboot 框架是如何创建 Controller 对象的？默认构造方法springboot框架，通过 默认构造方法（无参构造方法）创建对象这是 springboot 默认创建对象的方式例子创建下面Controller@Controllerpublic class HelloCtrl { public HelloCtrl(){ System.out.print
2021-03-08 16:54:20
578
原创 springboot教程-获取ajax提交字符串数组（@RequestParam）
介绍将请求参数封装到 List 中注意： 由于封装到 List 中，所以必须用此注解，否则会报错应用场景比如批量删除等html 代码使用jquery实现<script type="text/javascript" src="js/jquery-1.11.0.min.js"></script><input type="button" onclick="del()" value="批量删除"><table> <tr>
2021-03-08 15:14:10
918
原创 springboot教程-将ajax请求中的参数封装到JavaBean中
介绍适合注册、添加页面，提交的参数较多，如下图添加学生：html创建 save_student.html ，内容如下<script type="text/javascript" src="js/jquery-1.11.0.min.js"></script>姓名：<input id="name"><br>性别：<input name="sex" value="0" type="radio">女
2021-03-08 15:06:27
348
原创 springboot教程-@RequestParam详解
应用场景请求中 参数名 与 Controller方法 形参名 不同时，比如：在前后台分离式开发中，前台页面是由 前端程序员开发的，表单控件名是由 前端程序员命名的，命名为：u_phone、u_pwd后台程序员编写 Controller 时，方法的 形参名不能是：u_phone、u_pwd，因为 不符合 java命名规范，形参为：phone、password此时，前端 请求中的 参数名 和 Controller方法的形参名 不匹配，就需要用该注解，使之匹配上源码@Target({ElementT
2021-03-08 11:22:35
3812
原创 springboot教程-获取请求参数（参数名 与 Controller方法的形参名相同）
介绍请求中参数名 与 Controller方法的形参名相同，springboot自动将 参数值 传给 方法的形参这种方法简单好用，比较常用要求表单控件名、url中的参数名 ，必须 与 Controller方法的 形参名 相同支持的数据类型基本数据类型、字符串javabean数组获取url参数：适合5个以下的参数Controller代码：@RequestMapping("/delete")public String delete(String id){ System.o
2021-03-08 10:20:16
1126
原创 springboot教程-第一个controller
概述springboot框架中的 Controller，相当于增强的 servlet：接收请求（get、post、ajax）获取请求中的参数（url中的参数，post表单参数，ajax参数、上传文件）做出响应。（转发页面、重定向页面、返回json）用 Controller 代替 Servlet，不需要写 Servlet优点：更简单的代码，就可以实现更多的功能创建 controller 类package top.malaoshi.controller;import org.sprin
2021-03-08 10:18:57
591
原创 springboot教程-@RequestMapping源码与详解
作用url 和 处理方法 之间的映射关系源码@Target({ElementType.METHOD, ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Documented@Mappingpublic @interface RequestMapping { String name() default ""; @AliasFor("path") String[] value() default {};
2021-03-08 09:33:22
1218
原创 JAVA古诗词、三字经代码雨
最近想用JAVA实现黑客帝国里的代码雨，之后想做成中国风效果，就实现了下面这个，古诗词代码雨三字经代码雨github：https://github.com/malaoshi/rain
2020-02-04 21:01:38
939
原创 idea下载和入门使用
下载地址https://www.jetbrains.com/idea/download/#section=windows有两个版本：一个是用于web和企业开发的，是收费版一个是 社区免费版，功能较少初学者下载 社区免费版 就够用了，下载.zip，解压后就可以用，不需要安装启动在bin文件夹中，双击启动idea64.exe，启动64位的idea配置第一次启动，会进行一系列配...
2020-02-03 17:11:15
1015
1
原创 h5py\_init_.py:26：FutureWarning: Conversion of the second argument of issubdtype from `float` to
错误在做tensorflow开发时，总是提示错误：h5py\_init_.py:26：FutureWarning: Conversion of the second argument of issubdtype from `float` to解决错误出错位置h5py_init_.py:26包内出错，是h5py包对h5py进行更新升级pip install --upgrade h5p...
2019-06-22 13:39:03
1388
原创 virtualbox主机切换网络后，虚拟机Ubuntu连不上
当主机切换网络后，虚拟机Ubuntu连不上解决方法如下：首先修改虚拟机的网络设置主机切换网络时，让虚拟机中的Ubuntu重新连接网络即可点击“有线连接1”，会自动重新连接，然后ip就和主机中的ip在一个网段，Ubuntu可以上网了...
2019-04-19 16:46:49
1556
1
原创 vscode关闭提示Failed to install VS Code update
首先感谢帖子：https://www.jianshu.com/p/befa7b7aa361每次关闭vscode时提示下面错误将Code.exe复制到该目录下 C:\Users\[用户名]\AppData\Local\Programs\Microsoft VS Code再关闭vscode不会再提示错误...
2019-04-19 11:10:32
10880
4
原创 vscode安装常用插件
插件入口点击下图红框处弹出界面如下图按照下图输入插件名汉化按照下图操作看到下图提示时说明安装成功重新启动vscode按组合键ctrl+shift+p，弹出界面如下，输入display选择中文安装python插件按照下图安装看到下面提示时说明安装成功，然后重新启动vscode...
2019-04-19 10:06:16
711
原创 pandas.read_csv() 报错 OSError: Initializing from file failed
一般是因为路径或 文件名中带有中文，例如：res = pd.read_csv('我的文件.csv')解决方法有两种：第一种：指定engine为Pythonres=pd.read_csv('F:\\数据源\\工程清单.csv',engine='python')第二种：f = open('我的文件.csv')res = pd.read_csv(f)感谢：...
2019-04-09 15:56:04
96
原创 Java整型数组的最大长度到底有多长？
<br />Java整型数组的最大长度到底有多长？<br />今天上网查了一下，各种说法都有，这个问题似乎总困扰我们Java初学者，无奈，只好自己试了一下，以下是我的测试代码，如果有错误，还望不吝赐教！<br /> <br />使用eclipse默认的vm arguments，运行以下代码：<br /> <br /> public static void main(String[] args) {<br /> byte[] array=new byte[61858764];<br />// short[
2010-09-25 13:54:00
32491
1
the C++ Standard Library 中文版
2010-05-07
d语言ide：poseidon
2010-04-05
d语言，dmd.2.042
2010-04-05
我的备忘(swt/jface实现)
2010-04-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人