- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBASE的全分布
前置条件:安装的jdk 启动了hahadoop 以及zookeeper 且配置好了对应环境变量HBase全分布环境（注意：这里需要Java的版本在1.8以上）1.下载HBase安装包可以从上面的安装介质链接中下载HBase安装包，或者去HBase官网hbase.apache.org下载最新HBase安装包，然后使用WinSCP工具将下载好的安装包上传至master节点的/usr/loc...
2018-12-25 09:29:53
337
原创 hadoop 全分部
1、三台机器：bigdata12 bigdata13 bigdata14 2、每台机器准备工作：安装JDK、关闭防火墙、设置主机名（sudo hostnamectl set-hostname <newhostname>） systemctl stop firewalld.service systemctl disable fir...
2018-12-21 13:58:10
220
原创 linux centos下安装docker
1.在vm中装好好centos后,更新内核 运行docker需要内核版本为3.8或者更高的版本,内核必须支持一种合适的存储驱动(Drivice Mapper、AUFS、vfs、btrfs、ZFS),默认存储驱动为Drivice Mapper或AUFS且内核必须开启cgroup和namespce功能. uname -r可以查看内核版本. 内核升级2.安装docker 安装...
2018-12-17 19:56:01
651
原创 linux 安装hue
http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue 的版本：cdh5.3.6-hue-3.7.0 -> 需要编译才能使用 -> 联网 ping www.baidu.com -> 依赖(针对不同Linux版本) ...
2018-12-17 19:30:50
710
原创 使用javaAPI对HDFS进行各种操作
1.使用myeclipse新建java项目2.导入对应jar包 至于哪一些 百度新建文件: Configuration configuration=new Configuration(); configuration.set("fs.defaultFS", "hdfs://192.168.199.134:9000"); //连接到hdfs...
2018-12-13 15:54:45
456
原创 Hive整合HBase
前提条件: hadoop hive hbase 将hive的 hive-hbase-handler-.jar 复制到hbase/lib 1.hadoop hive hbase 都已安装 且成功启动 2. 进入hive启动hive :./hive 3.j进入hbhbase启动hbase : hbase shell 4.在hive中输入create table t_studen...
2018-12-11 12:06:12
651
原创 hive与mysql的连接
由于hive的内嵌安装方式是将元数据存储在derby中，每次打开时候都会在其当前工作目录下创建一个derby文件和一个m**文件很不方便，而且这种方式是单用户连接模式，所以我们用hive的本地安装模式，即将hive的元数据存储到mysql中。 首先我们安装mysql,这里我用的是yum安装 yum install mysql-server (mysql的服务器) ...
2018-12-10 19:57:38
2256
原创 linux安装hive
1.解压目标文件 技巧:为了便于操作 最好修改文件名tar -zxvf 目标文件 - C /解压到目标文件路径2.配置环境变量vim ~/.bash_profile (所有的环境最好配置在此文件下 若配置在profile的文件下 会出现开机黑屏现象和连ls 这样的命令都不能进行使用)如下:export HIVE_HOME=/home/apps/hive-2.3.4export ...
2018-12-10 11:11:11
950
原创 "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/la
1."main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决办法:1.前提条件： 1.1 本地已经有hadoop的安装包且正确配置了环境 1.2把下载的hadoop-common-2.2.0-bin-m...
2018-12-06 17:01:05
1158
原创 python 爬虫对使用Xpath定位文本内容的处理extract_first()
1.使用string(.)进行we文本 内容的处理 这时的文本内容并非是真正干净的文本内容 还需要借助其他方法进行优化 用法如下:content.xpath('//*[@id="guidePage"]/section[2]/div[2]/ol/li[1]/h4').xpath('string(.)').extract_first()结果如下: 2.用如下的方法进行优化2...
2018-12-03 17:42:55
17077
格式化输出双String类类型的json格式字符串
2023-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人