大数据生态
文章平均质量分 74
之芫
记录一下路上的坑和用到的东西,有时候遗忘的时候翻出来自己看看,同时也分享给忘了的朋友看看。
个人网站:https://www.msezi.com/
展开
-
hbase报错:XXX/lib/ruby/hbase/hbase.rb:42,XXX/bin/hirb.rb:131
问题描述我是要执行一个hbase操作是发生的报错如下:initialize at /usr/local/hadoop/hbase-release/lib/ruby/hbase/hbase.rb:42 (root) at /usr/local/hadoop/hbase-release/bin/hirb.rb:131经过多方查询资料,知道是hbase.tmp.dir设置的路径,hbase没有读写权限。具体的配置文件为/etc/hbase/conf/hbase-site.xml,找到hbase.原创 2020-11-06 16:11:14 · 758 阅读 · 0 评论 -
Linux增加/删除普通用户,修改普通用户获取root权限
文章目录创建普通用户删除普通用户赋予root权限方法一方法二方法三创建普通用户就是直接输入命令便可以创建创建用户useradd mshingpasswd mshing然后输入两遍密码就创建好一个mshing的用户了删除普通用户userdel mshing # 如果加参加-r的话就是连/home/mshing目录一起删除,不加就只是单纯删除用户,不删除数据。参数说明usera...原创 2019-05-29 11:49:14 · 7097 阅读 · 2 评论 -
给集群配置SSH配置免密登录
假设机子之间可以通过ssh输入密码互通,不可以的先安装ssh,大部分的linux都会自带。生成公钥ssh-keygen -t rsa进入ssh目录cd ~/.ssh/把公钥放到一个新的文件cat id_rsa.pub > authorized_keys然后scp到另一台主机上scp authorized_keys slave1:~/.ssh/然后把另一台主机的公钥放...原创 2019-04-17 15:31:18 · 1029 阅读 · 0 评论 -
完整部署北大天网搜索引擎TSE
最近在学习《搜索引擎——原理、技术与系统》这本书,书虽然有点年代感,但是技术永远不会过时。所以就来搭建一个自己的搜索引擎,下载源码,然后来学习,这里博客作笔记使用,同时也希望和更多的人一起讨论分享。我这里主要的参考博客是一位大佬在13年写的博客专栏里面的博客,为什么我也要重复写呢,因为时间隔太远了,有很多的技术更新,需要用到很多的新技术,所以我就把自己的学习笔记分享一下。大佬的专栏地址在这,有兴...原创 2019-04-10 03:32:10 · 2897 阅读 · 2 评论 -
iptables v1.6.1: can't initialize iptables table `filter': Permission denied (you must be root)
在docker中的容器我不知到为什么会这样,在虚拟机ubuntu的时候没出现这个问题,换到物理ubuntu上就这样了ERROR: problem running iptables: iptables v1.6.1: can't initialize iptables table `filter': Permission denied (you must be root)Perhaps ipt...原创 2019-03-13 00:16:56 · 21304 阅读 · 0 评论 -
Ubuntu18.04 + Docker搭建全分布式Spark集群
文章目录所需软件配置第一个基础环境容器启动第一个容器在容器中安装ssh配置ssh启动容器是自启动配置SSH登录配置JAVA环境安装配置环境变量环境永久生效验证成功配置Hadoop配置Hadoop的环境变量配置hadoop-env.sh文件配置Hadoop文件配置Zookeeper安装SCALA安装SPARK配置SPARK启动集群启动Zookeeper格式化`HDFS`和格式化`ZK`启动HDFS启...原创 2019-03-07 21:21:21 · 1775 阅读 · 0 评论 -
又是一个坑:Reading package lists... Done Building dependency
我是在Docker的Ubuntu容器上出现的问题一般apt-get出现这种情况:Reading package lists... DoneBuilding dependency tree Reading state information... DoneE: Unable to locate package ****就是没有更新APT库更新一下就好了sudo apt-...原创 2019-02-27 17:26:49 · 78277 阅读 · 11 评论 -
ubuntu18.04 安装Docker CE
moby、docker-ce与docker-ee最早的时候docker就是一个开源项目,主要由docker公司维护。2017年年初,docker公司将原先的docker项目改名为moby,并创建了docker-ce和docker-ee。这三者的关系是:moby是继承了原先的docker的项目,是社区维护的的开源项目,谁都可以在moby的基础打造自己的容器产品docker-ce是doc...原创 2019-02-22 22:05:13 · 966 阅读 · 0 评论 -
NumPy入门(5)_结构化数组
文章目录常规操作使用复合数据结构的结构化数组生成结构化数组Numpy的数据类型常规操作name = ['Alice', 'Bob', 'Cathy', 'Doug']age = [25, 45, 37, 19]weight = [55.0, 85.5, 68.0, 61.5]x = np.zeros(4, dtype=int)使用复合数据结构的结构化数组data = np.zero...原创 2019-01-04 17:43:06 · 498 阅读 · 0 评论 -
pig的安装及简单的操作
解压配置PIG_HONE vim ~/.bash_profile验证出现如下信息则成功pig [-]help 启动Pig 有两种运行模式:Local 模式和 MapReduce 模式。Local 模式只能访问本地 系统文件,一般用于处理小规模的数据集,不需要 Hadoop 集群环境的支持。 MapReduce 模式运行于 Hadoop 集群环...原创 2018-06-11 11:18:01 · 2042 阅读 · 0 评论 -
VMware Workstation 12.5.7 PRO 安装 CentOS7
VMware Workstation 12.5.7 PRO 安装Centos 7原创 2017-12-21 15:31:51 · 1509 阅读 · 0 评论 -
CentOS7安装单机版Hadoop
(一)安装JAVA环境hadoop需要java环境,所以先安装好java,安装CentOS的时候,有的勾选了就可以不用安装了安装最新版JDK博客(二)下载hadoop到官网下载自己喜欢的的版本 hadoop下载页(三)解压 tar –zxvf hadoop-2.7.5.tar.gz -C /usr/local/(四)配置环境变量 vim /etc/pro原创 2018-01-21 20:11:56 · 1278 阅读 · 0 评论 -
CentOS7部署Hadoop2.7.5全分布式群集
思路安装虚拟机安装JDK克隆安装HADOOP配置ssh搭建hadoop集群 配置hadoop-env.sh配置hadoop-core-site.xm配置hadoop-hdfs-site.xm配置hadoop-mapred-site.xml配置hadoop-yarm-site.xml配置slave发送hadoop文件到所有机子上测试安装虚拟机 VMwar...原创 2018-01-28 20:30:49 · 2876 阅读 · 2 评论 -
安装分布式数据仓库Hive
下载官网 点击直接选择版本下载解压我的版本是 apache-hive-0.13.1-bin.tar.gz 虽然有点老了,但是是老师给的就将就用了。 需要的我就贴下链接,apache-hive-0.13.1-bin.tar.gz如果是从我的链接下载的话需要先解压成apache-hive-0.13.1-bin.tar.gz,我是两层压缩了。解压hive tar -...原创 2018-05-28 19:13:23 · 836 阅读 · 0 评论 -
安装部署sqoop并简单的操作
安装sqoop把安装包解压到文件夹,我在安装hive的同级目录下配置sqoop配置mysql连接器 直接把mysql-connector-java-5.1.27.jar包放在sqoop的依赖文件夹中就可以了 配置环境变量进入配置文件夹conf,然后复制sqoop-env-template.sh为sqoop-env.sh,在sqoop-env.sh里修改,加入路径...原创 2018-05-29 22:16:53 · 1231 阅读 · 1 评论 -
Hbase的全分布式安装
一、安装HBASE可以从很多的地方下载,有官网,还有网上其他地方等等下载我的HBASE是hbase-0.98.7-hadoop2-bin.tar,版本是比较旧的,喜欢新版的下载新版base-0.98.7-hadoop2-bin.tar 官网...原创 2018-05-31 15:04:47 · 304 阅读 · 0 评论 -
使用sqoop从hive中导入数据到hbase
简单的操作hbase中建表并注入数据创建一个test的表create 'test', {NAME=>'f1'}插入数据put 'test', 'a001', 'f1:uid', '001'扫描testscan 'test'查看结构describe 'test'修改表解锁表disable 'test'修改alter 'te...原创 2018-06-03 12:08:10 · 7831 阅读 · 2 评论