记录
文章平均质量分 53
无
——。——
keep foolish, keep hungry.
展开
-
HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 hadoop 相关配置修改说明。注意:下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个转载 2017-08-17 13:59:48 · 643 阅读 · 0 评论 -
/etc/fstab 参数详解及如何设置开机自动挂载
某些时候当Linux系统下划分了新的分区后,需要将这些分区设置为开机自动挂载,否则,linux是无法使用新建的分区的。 /etc/fstab 文件负责配置Linux开机时自动挂载的分区。Windows的文件结构是多个并列的树状结构,最顶部的是不同的磁盘(分区),如:C,D,E,F等。Linux的文件结构是单个的树状结构。最顶部的为根目录,即/。在根目录下,分为多个子目录,包括/转载 2017-08-17 10:05:52 · 1817 阅读 · 0 评论 -
Rstutio黑科技Sparklyr于Ubantu系统的部署安装与调试
配置镜像源deb https://<my.favorite.cran.mirror>/bin/linux/ubuntu zesty/ or deb https://<my.favorite.cran.mirror>/bin/linux/ubuntu yakkety/ or deb https://<my.favorite.cran.mirror>/bin/linux/ubun原创 2017-07-10 15:13:03 · 1148 阅读 · 0 评论 -
HIVE 自定义函数之UDF/UDAF/UDTF
UDFUDF:用户自定义函数,表示以一行数据中的一列或者多列数据作为参数然后返回结果是一个值的函数,例如round()和floor(). 示例:比较两个逗号分隔的字符串是否相同。JAVA代码中一定要继承UDF类并实现evaluate()函数,在查询过程中对应的么一个用到这个函数的地方都会对这个类进行实例化,对每行输入都会调用到evaluate()函数,而且用户是可以重载evaluate方法的。原创 2017-04-10 02:15:09 · 2019 阅读 · 0 评论 -
Eclipse For Scala安装异常记录
在安装完成后启动时报错,打开log发现如下异常!ENTRY org.eclipse.osgi 4 0 2017-03-09 11:56:18.405 !MESSAGE Application error !STACK 1 java.lang.RuntimeException: Application “org.eclipse.ui.ide.workbench” could not be fou原创 2017-03-09 15:59:58 · 931 阅读 · 0 评论 -
如何制作一个RPM包
1.下载安装rpm包制作工具‘rpmdevtools ’。$ sudo yum install -y rpm-build rpmdevtools 2 . 运行 rpmdev-setuptree 来生成一个 rpm 包的骨架目录$ rpmdev-setuptree 3.rpmdev-setuptree命令默认将再当前用户的根目录下创建一个RPM构建根目录结构 ~/rpmbuil转载 2017-02-23 16:34:10 · 796 阅读 · 1 评论 -
Linux系统如何挂载一个新磁盘
挂载好硬盘后使用fdisk -l 查看磁盘信息 可以看到新的磁盘名为/dev/sdb,使用fdisk /dev/sdb 进行分区。 输入m查看帮助,输入n进行分区,这里输入e即分为逻辑分区,按p即分为主分区,我们要将这块盘分为主分区即输入p,之后输入该主分区为第几个主分区,由于是新盘我们输入1来分第一个主分区,First Cylinder是选择该分区的起始磁盘数,这里可自定义也可不做转载 2016-12-22 10:31:47 · 1108 阅读 · 0 评论 -
solr cloud 集群搭建
Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。工作方式 文档通过Http利用XML 加到一个搜索集合中。 查询该集合也是通过http收到一个XML/JSON响应来实现。它的主要特性包括:高效、灵活的缓原创 2016-12-14 17:08:52 · 946 阅读 · 0 评论 -
在搭建工作集群前我们应该做些什么
1.配置静态ip 关于配置静态IP 2.配置hosts解析 hostname ydbmaster vi /etc/sysconfig/network vi /etc/hosts 3.关闭防火墙 iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPTiptables -Fchkcon原创 2016-12-14 14:15:49 · 706 阅读 · 0 评论 -
Hadoop伪分布式环境部署之Hive
Hive下载地址 将下载到的Hive压缩包解压到opt/ydbsoftware/ 中 1.配置HIVE_HOME 使用vi命令编辑 etc/profile 文件,在文件末尾添加原创 2016-12-05 00:36:16 · 579 阅读 · 0 评论 -
如何使用阿里云镜像站
在平常的工作中经常要下载一些来自国外的软件,但是由于一些未知的原因导致下载并不是那么的容易,笔者在此隆重推荐阿里云开源镜像站,接下来就介绍一下怎么在该站找到自己想要的资源。 阿里云的开源镜像站地址为:http://mirrors.aliyun.com/ 点击进去首先看到的是这样的: 以Hadoop的下载为例,首先,我们知道Hadoop是来自于apache孵化器基金会的项目,我们点击a原创 2016-12-04 23:24:25 · 10615 阅读 · 0 评论 -
Hadoop伪分布环境部署之Hadoop
将JDK与Hadoop解压到/opt/ydbsoftware 使用 tar -zxvf 解压 tar.gz文件 使用 unzip 解压.zip文件 1.配置JAVA_HOME及HADOOP_HOME 关于JAVA_HOME配置 HADOOP_HOME配置使用vi命令打开/etc/profile/在文档下方添加:export HADOOP_HOME=/opt/ydbsoftware/ha原创 2016-12-04 17:15:25 · 546 阅读 · 0 评论 -
Maven的安装攻略
maven 的安装攻略 下载Maven 下载地址 解压Maven到安装目录此后该目录以{maven_home}替代 安装jdk1.8到安装目录 1.配置JAVA_HOME 示例: C:\Program Files\Java\jdk1.8.0_80 2.配置MAVEN_HOME ,M2_HOME 示例: M2_HOME E: \apache-maven-3.原创 2016-12-03 21:47:32 · 500 阅读 · 0 评论 -
Linux下静态IP的配置
使用vi命令访问 /etc/sysconfig/network-scripts/ifcfg-eth0文件。获取文件信息大致如下(“#”号后面为笔者的注释,如若复制请自行删除。):DEVICE="eth0"#网卡设备名。BOOTPROTO="static"#开机协议,此处为静态ipIPADDR=192.168.3.61#指定ip地址,此处根据自身原创 2016-10-23 19:35:52 · 726 阅读 · 0 评论 -
搭建Hadoop环境前的准备工作
基本环境要求:操作系统:使用CentOS6.x版本(推荐使用centos6.6)。基本软件环境要求:1)yun 与 rpm 2)Python 2.6.* 3)gccJDK要求:Oracle JDK 1.8 64-bit(一)配置静态IP//链接blog url(二)基本可用性检查(1)使用ulimit -n检查同一时间可开启的文件数是否为65535原创 2016-10-23 19:26:52 · 897 阅读 · 0 评论 -
Hadoop环境搭建之JDK的安装
环境:jdk 1.8.0centos 6.5一.使用mkdir创建一个名为opt 的目录(目录名随意),将jdk-8u60-linux-x64.tar.gz通过SecureCRT传到目标主机中,使用tar -zxvf解压到当前目录。二,进入jdk1.8.0_60目录,使用pwd命令获取当前目录路径,记录下来。(/opt/jdk1.8.0_60)三.使用v原创 2016-10-16 19:26:50 · 2419 阅读 · 1 评论 -
常用的shell命令
Linux下常用的shell命令1)mkdir /file/file1 :在file目录下创建一个名为file1的目录。常用属性 : -p :当上级目录不存在时将上级目录一并创建。2)rmdir /file/file1 :删除file目录下的file1目录。在删除前要确定目录为空 目录,否则无法删除。常用属性 : -r或-R :递归处理,可将指定目原创 2016-10-16 17:46:31 · 405 阅读 · 0 评论 -
Kafka部署跳坑记录
问题1:错误: 找不到或无法加载主类问题描述:在部署kafka后通过./kafka-server-start.sh ../config/server.properties命令启动报错,提示找不到主类,一般这种情况肯定是启动过程中的问题,多半是-cp出了问题,于是我顺着脚本找到了bin目录下的kafka-run-class.sh,在该脚本中我们发现最后通过这样一段代码来拉起kafka服务# Launch modeif [ "x$DAEMON_MODE" = "xtrue" ]; then原创 2020-12-08 13:19:24 · 339 阅读 · 0 评论 -
记一次断电后solr重启异常
在断电之后三个solr虚拟机关闭了,重新启动的时候solr提示500错误,并且三台主机上的节点都挂掉了,原因是其中一台主机的zookeeper没有启动。导致了那台机器的solr没有正常启动,以至于集群故障原创 2016-12-15 11:31:53 · 1616 阅读 · 0 评论