- 博客(20)
- 收藏
- 关注
RSS订阅
原创 利用MapReduce统计文章中汉字的个数(正则表达式的使用)
写了一个简单的MapReduce程序，主要目的是想记录一下正则表达式的使用注意事项：需要传入两个参数，参数1为输入文件路径，参数2为输出路径 为方便测试MapReduce，避免经常修改代码并打包上传，可以搭建Windows版本的Hadoop环境 需要创建Maven工程 需要注意输入文件的编码格式，建议利用记事本更改为UTF-8，避免乱码代码如下package com.orac...
2019-07-24 17:36:00
1573
原创 java.sql.SQLException: ORA-03115错误解决方法
今天下午遇到了一个问题，看了网上许多解决方法，有说换驱动包的，有说是数据类型混用的，但是我在这两个方面没有问题，经过Debug发现是PreparedStatement的 executeQuery() 方法多写了参数。错误提示：解决办法如下：删除红框中sql即可。...
2020-03-10 16:54:51
629
转载 a标签href属性的用法
1.拨打电话<a href="tel:13800013088">13800013088</a>2.唤起QQ<a href="tencent://message/?Menu=yes&uin=1248106922" target="_blank" class="fixed-qq" data-type="qq"></a>3.调用js方法...
2020-02-28 18:35:58
3595
转载 button,input,html与value,innerText,innerHTML的对应关系
<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body> <script> function myFunction() { var btn1 = document.getElementById("btn1"); ...
2020-02-28 17:21:21
697
原创 2019年12月2日日记
因为找工作、参加宣讲会、准备面试…（主要还是犯懒），好久没有敲代码了。目前没有什么好写的文章，先写一篇日记，为继续学习与分享的工作做一个好的开始。最开始我的博客是在简书上写的，因为比较喜欢简书简洁的页面。在那里，我从只会富文本编辑到Markdown，对写博客越来越感兴趣。和室友说，我的博客每天能有两个人看就可以，后来发现比我预期的多了不少，也让我乐于在课余时间记录下编程中遇到的问题等。不过后来，...
2019-12-02 20:57:14
176
原创 解决IDEA打Jar包找不到或无法加载主类问题
正确流程：首先：点击主菜单 File 中 Project Structure 选项然后，按照图片所示操作关键点来了主类要选择路径选到src即可，不要选到java正确操作接下来可以打Jar包了最后一步检验一下，发现META-INF文件夹已经在Jar包中了...
2019-08-20 16:47:55
38211
17
原创 解决新安装的IntelliJ IDEA 2019.2没有菜单栏的问题
问题描述今天发现朋友新安装的IDEA打开后没有菜单栏，如下图我帮他看了一会也没有看见打开的选项在哪突然灵机一动…想到了IDEA的封神快捷键CTRL+SHIFT+A解决方案在Actions下，输入menu，点击View| Appearance: Main Menu 的OFF按钮正确效果好了，大功告成你的菜单栏又回来了
2019-08-13 15:17:42
3089
1
原创 Hadoop集群管理shell脚本
两个比较简单的shell脚本，但在大数据学习过程中非常重要，方便了对集群的管理和配置文件的同步。#####准备工作：1.hosts为机器起域名，和ip地址相同2.ssh免密登录3.下载rsync###集群指令分发工具脚本#!/bin/bashif [ $# -lt 1 ] # 如果没有参数会打印提示信息 then echo "There is no commond...
2019-08-13 07:11:31
276
原创 Hive中运行任务报错：Error during job, obtaining debugging information...
错误原因：namenode内存空间不够，JVM剩余内存空间不够新job运行所致解决办法：将hive设置成本地模式来执行任务set hive.exec.mode.local.auto=true;
2019-08-11 19:42:08
1987
2
原创 Permission denied: user=anonymous, access=EXECUTE, inode="/tmp"
在本机远程连接hive时，不输入账号密码正常不应该报错解决办法：报错内容提示hive没有/tmp目录的权限，赋予权限即可：hdfs dfs -chmod 777 /tmp输入后，本机时不输入账号密码也可以成功登录...
2019-08-11 19:38:58
1669
原创 锁定文件失败，打不开磁盘或它所依赖的某个快照磁盘
电脑强制关机后，CentOS系统启动失败。报异常：锁定文件失败 打不开磁盘“D:\DBVirtual Machines\centos6_3\centos6_3.vmdk”或它所依赖的某个快照磁盘。解决办法：进入虚拟机目录，例如我的是该目录：D:\DBVirtual Machines\centos6_3删除下图中两个文件夹...
2019-08-10 18:52:49
3383
1
原创 IDEA常用快捷键总结
总结一下我常用的IDEA快捷键，尽量精简快捷键备注SHIFT+回车另起一行CTRL+D复制行CTRL+X删除行CTRL+W选中代码，可连续按扩大范围CTRL+/单行注释CTRL+SHIFT+/多行注释CTRL+SHIFT+上下键上下移动代码fori / sout / psvm + TAB循环、打印、主方法的快速代码...
2019-08-10 18:48:48
906
原创 编写HiveQL时遇到的小问题
MySQL在Linux下数据库名、表名、列名、别名大小写规则是这样的：1、数据库名与表名是严格区分大小写的；2、表的别名是严格区分大小写的；3、列名与列的别名在所有的情况下均是忽略大小写的；4、字段内容默认情况下是大小写不敏感的。查询时加入BINARY关键字可区分大小写但在Hive中，字符串严格区分大小写 ...
2019-08-09 16:19:00
233
原创 Hive中提示Expression Not In Group By Key的解决办法
问题出现的原因：1.Hive不允许直接访问非group by字段；2.对于非group by字段，可以用Hive的collect_set函数收集这些字段，返回一个数组；3.使用数字下标，可以直接访问数组中的元素；MySQL中代码：select d.dname,count(*) num from emp e join dept d on e.deptno=d.deptno wh...
2019-08-09 14:05:00
23225
2
原创 MapReduce中join业务
对两份数据data1和data2进行关键词连接(Join)是一个很通用的问题。如果数据量比较小，数据连接(Join)的操作可以在内存中完成，但如果数据量比较大，在内存中进行数据连接操作就会存在OOM(OutOfMemery)问题。针对这种情况，我们也可以考虑利用Mapreduce解决大数据的连接(Join)问题。源数据商品信息product示例表头pid pnamepd...
2019-07-31 10:45:00
252
原创 最近编写MapReduce时的小问题
注解重写方法时一定要写：早上调试MapReduce程序时发现Reducer不执行，在排查代码后，发现Reducer类中的reduce方法被我写成了reducer，所以相当于重新创建了一个方法而没有重写父类方法，没有写注解所以没有发现，以后要注意写注解。静态内部类的static关键字注意不能忘了写：前几天编写Mapreduce程序时，由于主方法和Mapper类、Reducer类封装在了一...
2019-07-30 10:18:00
200
原创 使用IDEA编写客户端程序操作HDFS
以API方式编写程序操作HDFSimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;public class HdfsClientDemo { public static void main(String[] args) throws Exception { ...
2019-07-02 16:24:46
548
原创 MySQL数据库的入门
该笔记是我在学校上课期间所记，内容比较基础，用于日后使用能够快速的回想起MySQL的简单操作。 记笔记使用软件为OneNote，免费且功能全面，可在多台设备同步，推荐给小伙伴们使用。 下面开始正文： 一、数据库简介： 数据库简介 二、数据库操作 ...
2019-07-01 16:29:10
208
原创 利用GitHub保存代码
在注册了简书的同时，学了学github的使用，第一篇就做一下github的笔记吧，以免日后有忘记使用方法的尴尬...第一步：当然是创建一个github账号啦（废话），并创建一个新的库 第二步：在创建完成自己的库之后，下面就要让自己的电脑克隆一个自己所创建的库，以便自己电脑上的代码同步到GitHub你所创建的库当中。为了实现，就需要安装一个软件，Git ...
2019-06-23 21:32:52
1294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人