- 博客(32)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 飞桨：Python小白逆袭大神
飞桨：Python小白逆袭大神 Day1-Python基础练习 Day2-《青春有你2》选手信息爬取 Day3-《青春有你2》选手数据分析 Day4-《青春有你2》选手识别 Day5-综合大作业 Day1-Python基础练习作业一：输出 9*9 乘法口诀表(注意格式)注意：提交作业时要有代码执行输出结果。def table(): ...
2020-04-29 16:24:53
958
原创 Hive安装及配置
Hive安装及配置，Hive对MySQL的utf8有影响，如果MySQL为utf8，很可能就会导致后面的hive操作受影响，本人就是将MySQL编码格式改成了utf8，导致后来drop table table_name一直处于卡死状态
2016-11-18 21:43:50
2884
原创 Hive drop table table_name一直卡死状态
用drop删除表的时候，一直处于卡死状态，也不报错，如下图所示 后来发现是Hive元数据存储编码问题，编码不能为utf8,所以我进入数据库看了一下MySQL的编码，如下图 所以要将编码改回来，方法：在MySQL配置文件中修改，并删除原有的数据库，新建一个一样的数据库
2016-11-18 20:33:17
10052
13
原创 Hive之MySQL安装
安装Hive前，首先装好MySQL，MySQL数据库可以支持多个用户同时使用Hive连接MySQL数据库，共享使用metastore中的内容访问Hive，并且MySQL本身具有成熟的分布式特性，可以采用多台MySQL机器提供metastore内容服务。
2016-11-15 10:42:01
1416
原创 Pig安装及测试
Apache Pig介绍 Pig是Apache基金会的一个项目，它是一个大型数据集分析的平台，使用过MapReduce的程序员都知道，面对复杂的数据集常常需要编写多个MapReduce过程方能达到目的。Pig正是为了解决这个问题而产生的，它包括两个部分： Pig Latin：描述数据流的文本语言 运行Pig Latin程序的执行环境
2016-11-09 23:00:48
1546
转载 Apache Pig的一些基础概念及用法总结
转载出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，
2016-11-04 13:23:48
518
原创 HBase Shell
当HBase集群配置好启动后，就可以使用HBase的Shell对HBase进行各种操作，如建表、添加记录、添加列族和删除表等。需使用HBase的bin目录下的HBase命令才能进入，具体操作如下：
2016-11-03 22:13:42
1470
原创 hadoop完全分布式安装HBase
Hadoop完全分布式安装HBase,下载HBase安装包,hbase-0.98.7-hadoop2-bin.tar,HBase后面的数字代表HBase的版本号，紧跟在后的hadoop[x]表示支持的Hadoop版本，我的Hadoop版本为2.X所以选择hbhbase-0.98.7-hadoop2-bin.tar,安装步骤如下
2016-11-01 20:37:13
1183
原创 MapReduce实战之美国气候数据MaxTemperatureVeryYear
MapReduce实战之美国气候数据MaxTemperatureVeryYear使用的数据来自美国国家气候数据中心,首先我们要在Linux上去下载数据，打开linux终端，在终端下写入如下命令：wget -r -c fttp://ftp.ncdc.noaa.gov/pub/data/noaa/,下载数据，编写代码块，运行程序，在浏览器中查看结果状态
2016-10-26 00:13:57
1428
1
原创 MapReduce实战之WordCount
MapReduce实战之WordCount步骤：打开eclipse，新建一个WordCount的java project工程，写WordMapper类继承于Mapper抽象类，覆写map函数，写WordReducer类继承于Reducer，覆写reduce函数,最后写一个场景调用类，调用WordMapper和Reducer类 WordMapper类 等
2016-10-19 17:03:50
1542
原创 org.apache.hadoop.fs.ChecksumException:Checksum error
从本地上传文件bb到集群报如下异常： org.apache.hadoop.fs.ChecksumException:Checksum error: file:/home/gznc/bb at 0 exp:30912436 got:- 1325419952
2016-10-14 14:42:21
1451
转载 CSDN-markdown编辑器语法——字体、字号与颜色
Markdown是一种可以使用普通文本编辑器编写的标记语言，通过类似HTML的标记语法，它可以使普通文本内容具有一定的格式。但是它本身是不支持修改字体、字号与颜色等功能的！ CSDN-markdown编辑器是其衍生版本，扩展了Markdown的功能（如表格、脚注、内嵌HTML等等）！对，就是内嵌HTML，接下来要讲的功能就需要使用内嵌HTML的方法来实现。字体、字号与颜色font
2016-10-10 19:57:52
424
原创 NoClassDefFoundError:org/slf4j/LoggerFactory
NoClassDefFoundError:org/slf4j/LoggerFactory 出现这种问题的原因是缺少： No FileSystem for scheme: hdfs 原因是缺少： hadoop-hdfs-2.5.2.jar包文件
2016-10-10 19:45:20
1936
原创 Mybatis传多个参数如int 和String该怎么传
mybatis传参数如果全是字符串可以采用map来传，如果是整型和字符串怎么传可以改为这样，用@Param来传在mapper.xml中写就会报找不到参数错误然后将参数改为如下就可以了
2016-10-05 19:55:20
7754
原创 There is no getter for property named 'XX' in 'class java.lang.String'
Mybatis中传入一个参数为字符串时然后报如下错误There is no getter for property named 'StuName' in 'class java.lang.String'后来发现，如果传入一个参数，类型为String类型，则参数需统一修改为[_parameter]目前发现传String类型需要改，传int类型则不需要
2016-10-04 18:45:35
426
原创 javax.el.PropertyNotFoundException: Property 'StuNum' not found on type com.gzsy.xtw.model.tb_studen
用jstl表达式遍历集合时出现javax.el.PropertyNotFoundException: Property 'StuNum' not found on type com.gzsy.xtw.model.tb_studen什么都是正确的，就是报错后来才发现根据JavaBeans规范，属性的开头两个字母要小写才行，把图中的StuNum改成stuNum就可以了
2016-09-23 16:18:56
897
原创 hadoop集群算PI值出现current time is .... found ....
出现此错误，原因是主从节点的时间不同步导致的解决方法就是配置时间同步，在终端切换为root用户配置时钟需要虚拟机联网，如果修改为静态ip是不能联网的，解决方法http://blog.csdn.net/qq_33624294/article/details/524494701.配置自动时钟同步输入命令：crontab -e出现一个窗口后按i使其进入插入模式，插入如下内容
2016-09-19 13:48:28
542
原创 hadoop集群算PI值出现No route to host
解决方法：检查每一个节点先看主机名和hosts里面的配置名称是否一样我们可以看到主机名是master，和hosts里面的master是一致的，不一致就要改成一样然后在主机上ping 主节点和从节点的主机名看能不能ping的通如果ping的通就去看一下防火墙关了没，在终端切入到root用户，输入service iptables stop
2016-09-19 11:54:05
683
原创 启动hadoop集群DataNode不显示，DataNode显示NodeManager不显示
启动hadoop集群后，输入jps你发现主节点显示的是正常的而在从节点上却没有显示DataNode节点如果你的配置都是正确的话，很可能就是你格式化文件系统的时候格式化了多次解决方法：删除集群数据存储目录，在新建一个一样的文件夹，然后在格式化一次就正常了在配置正确的情况下，如果只有从节点的NodeManager不显示主节点的终端输入 vi slav
2016-09-17 13:00:59
7496
2
原创 大数据环境基础之Centos安装Haoop集群（4）ssh免密码登录
ssh免密码登录的配置需要在当前用户下的根目录下用命令ssh-keygen -t rsa生成公钥和秘钥用命令ls -a查看.ssh文件进入.ssh文件夹里面，用命令ls查看公钥和秘钥将公钥保存在authorized_keys文件中修改authorized_keys文件的权限使用scp命令将authorized_keys复制到从节点sl
2016-09-16 22:09:55
428
原创 CentOS下终端显示bash-4.1$ 不显示用户名和主机名
当我们用useradd添加一个用户后，打开终端有时候是这个样子的并没有显示我们常看到的那样【用户名@主机名】解决办法：在终端输入 cp -a /etc/skel/. /home/你所登录用户名回车后，关闭终端后再打开就会恢复正常的样子了
2016-09-16 18:18:38
1514
1
原创 Linux 修改静态ip后无法上网
当你觉得什么都做好了，比如在windows上都能和Linux通信了，但是Linux就是上不了网，我用自动 获取ip方式能上网我修改为固定ip后就不能上网了
2016-09-06 14:06:50
4721
5
原创 Centos初学者需要会的几种命令（2）
查看命令帮助 指令：man空格参数例如查看mv用法说明按q退回到终端说明该指令就是移动文件或文件夹的指令，只是参数不同而已或者是输入mv --help也能够查出mv指令的用法为了有时候显示权限不够，或者一些文件看不全，所以我习惯切换到超级用户root来操作which +指令 能够看到指令的路径接下来我们验证一下，我们跳到根目录用ls查看根
2016-09-04 16:50:16
881
原创 Linux 中复制问题，错误显示 cp:omitting directory
出现这个错误的原因，主要是因为复制的文件夹里面还有文件夹所以里面是有文件夹的，要想复制需要使用命令在cp -r，其中r表示递归的意思这样就复制成功了
2016-09-03 22:19:15
657
原创 大数据环境基础之Centos安装Haoop集群（3）在CentOS上安装eclipse
我下载的版本是eclipse-jee-juno-SR2-linux-gtk-x86_64.tar，采用WinSCP工具传Linux桌面，至于怎么传，我在上一篇写安装jdk的时候详细说过了这里就不说了。打开终端 输入命令su切换到root用户，使用cd ../../../跳到根路径下用命令 cd usr 跳到usr路径下 ，然后mkdir eclipses 创建文件夹，用
2016-09-03 13:54:18
642
原创 大数据环境基础之Centos安装Haoop集群（2）在CentOS上安装jdk
给每台主机上安装jdk,需要把jdk-7u71-linux-x64.gz下载好放到Linux系统中，当然我们也可以采用weget的方法直接在Linux系统中下载，也可以采用WinSCP上传。这里我就说下WinSCP上传。首先要安装好这个工具，然后开启虚拟机上的linux系统开启linux系统后网络是断开的，所以我们要开启网络。方式一：方式二：打来Linux终端 切换
2016-09-03 11:16:45
792
原创 大数据环境基础之Centos安装Haoop集群（1）CentOS系统配置
首先开启两个节点接下来就是打开终端了方式一：在桌面上右击，找到Open in Terminal,点击方式二：这样终端就打开了，如下图了接下来就正式开始配置系统环境1.配置网络我们能看到右端的电脑有个红叉，说明网络是断开的，其实我们可以点进去，然后点击System eth0连接网络，但是为了配置windows能和主从节点组成小型的局域网，
2016-09-01 10:42:14
983
1
原创 Centos初学者需要会的几种命令
首先第一次打开系统，右键点击open in Terminal，切换到终端窗口这是普通用户模式，如果我们要切换到root最高权限模式，应该输入su,然后会提示你输入密码，要注意的是密码是不会显示的，所以只能凭自己的感觉输入。这样普通用户就可以切换到root，暂时拥有最高权限了，那么问题来了，普通用户和普通用户怎么切换呢，然而又出现了一个问题，一般是只有一个用户，我们如何实现添加另
2016-08-30 22:18:43
8823
原创 Centos6.6如何设置中文输入法
打开Centos系统，找到系统->属性->输入方式，如下图点击右键，点开open in Terminal 按下ctrl + 空格键，就会出现如下箭头所指这样就中文输入法就设置好了，切换就用ctrl+空格键
2016-08-30 19:08:16
1003
原创 大数据环境基础之Centos6.6安装
初学者安装Centos6.6 64位过程，首先安装虚拟机，我这里安装的是VMwareworkstation_full_12.1.0，装好后的的界面点击创建虚拟机后出现如下界面作为初学者，我建议选择典型安装，点击下一步点击下一步选中Linux和对应的Centos我的是64位所以选择Centos 64，接下来点击下一步给虚拟机取名字，下面是选择安装虚
2016-08-30 14:25:41
1627
远程管理Linux的putty和远程传文件的winscp
2016-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人