- 博客(20)
- 收藏
- 关注
原创 利用MapReduce统计文章中汉字的个数(正则表达式的使用)
写了一个简单的MapReduce程序,主要目的是想记录一下正则表达式的使用注意事项:需要传入两个参数,参数1为输入文件路径,参数2为输出路径 为方便测试MapReduce,避免经常修改代码并打包上传,可以搭建Windows版本的Hadoop环境 需要创建Maven工程 需要注意输入文件的编码格式,建议利用记事本更改为UTF-8,避免乱码代码如下package com.orac...
2019-07-24 17:36:00 1623
原创 java.sql.SQLException: ORA-03115错误解决方法
今天下午遇到了一个问题,看了网上许多解决方法,有说换驱动包的,有说是数据类型混用的,但是我在这两个方面没有问题,经过Debug发现是PreparedStatement的 executeQuery() 方法多写了参数。错误提示:解决办法如下:删除红框中sql即可。...
2020-03-10 16:54:51 661
转载 a标签href属性的用法
1.拨打电话<a href="tel:13800013088">13800013088</a>2.唤起QQ<a href="tencent://message/?Menu=yes&uin=1248106922" target="_blank" class="fixed-qq" data-type="qq"></a>3.调用js方法...
2020-02-28 18:35:58 3658
转载 button,input,html与value,innerText,innerHTML的对应关系
<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body> <script> function myFunction() { var btn1 = document.getElementById("btn1"); ...
2020-02-28 17:21:21 737
原创 2019年12月2日日记
因为找工作、参加宣讲会、准备面试…(主要还是犯懒),好久没有敲代码了。目前没有什么好写的文章,先写一篇日记,为继续学习与分享的工作做一个好的开始。最开始我的博客是在简书上写的,因为比较喜欢简书简洁的页面。在那里,我从只会富文本编辑到Markdown,对写博客越来越感兴趣。和室友说,我的博客每天能有两个人看就可以,后来发现比我预期的多了不少,也让我乐于在课余时间记录下编程中遇到的问题等。不过后来,...
2019-12-02 20:57:14 202
原创 解决IDEA打Jar包找不到或无法加载主类问题
正确流程:首先:点击主菜单 File 中 Project Structure 选项然后,按照图片所示操作关键点来了主类要选择路径选到src即可,不要选到java正确操作接下来可以打Jar包了最后一步检验一下,发现META-INF文件夹已经在Jar包中了...
2019-08-20 16:47:55 39148 17
原创 解决新安装的IntelliJ IDEA 2019.2没有菜单栏的问题
问题描述今天发现朋友新安装的IDEA打开后没有菜单栏,如下图我帮他看了一会也没有看见打开的选项在哪突然灵机一动…想到了IDEA的封神快捷键CTRL+SHIFT+A解决方案在Actions下,输入menu,点击View| Appearance: Main Menu 的OFF按钮正确效果好了,大功告成你的菜单栏又回来了
2019-08-13 15:17:42 3123 1
原创 Hadoop集群管理shell脚本
两个比较简单的shell脚本,但在大数据学习过程中非常重要,方便了对集群的管理和配置文件的同步。#####准备工作:1.hosts为机器起域名,和ip地址相同2.ssh免密登录3.下载rsync###集群指令分发工具脚本#!/bin/bashif [ $# -lt 1 ] # 如果没有参数会打印提示信息 then echo "There is no commond...
2019-08-13 07:11:31 281
原创 Hive中运行任务报错:Error during job, obtaining debugging information...
错误原因:namenode内存空间不够,JVM剩余内存空间不够新job运行所致解决办法:将hive设置成本地模式来执行任务set hive.exec.mode.local.auto=true;
2019-08-11 19:42:08 1992 2
原创 Permission denied: user=anonymous, access=EXECUTE, inode="/tmp"
在本机远程连接hive时,不输入账号密码正常不应该报错解决办法:报错内容提示hive没有/tmp目录的权限,赋予权限即可:hdfs dfs -chmod 777 /tmp输入后,本机时不输入账号密码也可以成功登录...
2019-08-11 19:38:58 1679
原创 锁定文件失败,打不开磁盘或它所依赖的某个快照磁盘
电脑强制关机后,CentOS系统启动失败。报异常:锁定文件失败 打不开磁盘“D:\DBVirtual Machines\centos6_3\centos6_3.vmdk”或它所依赖的某个快照磁盘。解决办法:进入虚拟机目录,例如我的是该目录:D:\DBVirtual Machines\centos6_3删除下图中两个文件夹...
2019-08-10 18:52:49 3420 1
原创 IDEA常用快捷键总结
总结一下我常用的IDEA快捷键,尽量精简快捷键备注SHIFT+回车另起一行CTRL+D复制行CTRL+X删除行CTRL+W选中代码,可连续按扩大范围CTRL+/单行注释CTRL+SHIFT+/多行注释CTRL+SHIFT+上下键上下移动代码fori / sout / psvm + TAB循环、打印、主方法的快速代码...
2019-08-10 18:48:48 930
原创 编写HiveQL时遇到的小问题
MySQL在Linux下数据库名、表名、列名、别名大小写规则是这样的:1、数据库名与表名是严格区分大小写的;2、表的别名是严格区分大小写的;3、列名与列的别名在所有的情况下均是忽略大小写的;4、字段内容默认情况下是大小写不敏感的。查询时加入BINARY关键字可区分大小写但在Hive中,字符串严格区分大小写 ...
2019-08-09 16:19:00 244
原创 Hive中提示Expression Not In Group By Key的解决办法
问题出现的原因:1.Hive不允许直接访问非group by字段;2.对于非group by字段,可以用Hive的collect_set函数收集这些字段,返回一个数组;3.使用数字下标,可以直接访问数组中的元素;MySQL中代码:select d.dname,count(*) num from emp e join dept d on e.deptno=d.deptno wh...
2019-08-09 14:05:00 23254 2
原创 MapReduce中join业务
对两份数据data1和data2进行关键词连接(Join)是一个很通用的问题。如果数据量比较小,数据连接(Join)的操作可以在内存中完成,但如果数据量比较大,在内存中进行数据连接操作就会存在OOM(OutOfMemery)问题。针对这种情况,我们也可以考虑利用Mapreduce解决大数据的连接(Join)问题。源数据商品信息product示例表头pid pnamepd...
2019-07-31 10:45:00 322
原创 最近编写MapReduce时的小问题
注解重写方法时一定要写:早上调试MapReduce程序时发现Reducer不执行,在排查代码后,发现Reducer类中的reduce方法被我写成了reducer,所以相当于重新创建了一个方法而没有重写父类方法,没有写注解所以没有发现,以后要注意写注解。静态内部类的static关键字注意不能忘了写:前几天编写Mapreduce程序时,由于主方法和Mapper类、Reducer类封装在了一...
2019-07-30 10:18:00 225
原创 使用IDEA编写客户端程序操作HDFS
以API方式编写程序操作HDFSimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;public class HdfsClientDemo { public static void main(String[] args) throws Exception { ...
2019-07-02 16:24:46 555
原创 MySQL数据库的入门
该笔记是我在学校上课期间所记,内容比较基础,用于日后使用能够快速的回想起MySQL的简单操作。 记笔记使用软件为OneNote,免费且功能全面,可在多台设备同步,推荐给小伙伴们使用。 下面开始正文: 一、数据库简介: 数据库简介 二、数据库操作 ...
2019-07-01 16:29:10 214
原创 利用GitHub保存代码
在注册了简书的同时,学了学github的使用,第一篇就做一下github的笔记吧,以免日后有忘记使用方法的尴尬...第一步:当然是创建一个github账号啦(废话),并创建一个新的库 第二步:在创建完成自己的库之后,下面就要让自己的电脑克隆一个自己所创建的库,以便自己电脑上的代码同步到GitHub你所创建的库当中。为了实现,就需要安装一个软件,Git ...
2019-06-23 21:32:52 1313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人