大数据开发
小群攻城狮
这个作者很懒,什么都没留下…
展开
-
调度脚本
最近写了不少增量代码,每天一运行在crontab下,写成sh脚本有好多行,90天就是90行,确实麻烦,还好现在有了下面这个脚本 ,只要输入起始日期就好了调用方法bash ./test_daynum.sh 20161001 20161031调用脚本#!/bin/shyesterday=$(date -d yesterday +%Y%m%d)start_date=$yester原创 2017-05-12 11:35:37 · 549 阅读 · 0 评论 -
HBase原理和设计
一篇不错的介绍HBase基本原理的文章,转载自:http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ,感谢原作者。 简介HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可转载 2017-06-22 16:59:01 · 355 阅读 · 0 评论 -
hue配置简介使用
转载自http://blog.csdn.net/nsrainbow/article/details/43677077声明本文基于Centos 6.x + CDH 5.xHUEHadoop也有web管理控制台,而且还很华丽,它的名字叫HUE。通过HUE可以管理Hadoop常见的组件。下面用一幅图说明HUE能管理哪些组件除了Oozie,LDAP SAML转载 2017-07-15 12:39:57 · 2922 阅读 · 0 评论 -
hive select FAILED: RuntimeException java.io.FileNotFoundException: /etc/hive/2.4.2.0-258/0/xasecure
[root@rdsp-dn-03 ~]# hiveWARNING: Use "yarn jar" to launch YARN applications. Logging initialized using configuration in file:/etc/hive/2.4.2.0-258/0/hive-log4j.propertieshive> show databases;原创 2017-07-06 17:10:44 · 2513 阅读 · 1 评论 -
nodemanager启动报错Caused by: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN
2017-08-18 10:57:40,783 INFO ipc.Server (Server.java:stop(2752)) - Stopping server on 80402017-08-18 10:57:40,785 INFO ipc.Server (Server.java:run(932)) - Stopping IPC Server listener on 80402017-原创 2017-08-17 11:36:13 · 2959 阅读 · 0 评论 -
linux转码utf-8
远程登录服务器用vim在终端下编辑查看文件经常会遇见各种中文乱码问题。做如下设置可基本解决vim中文乱码问题首先查看系统对中文的支持locale -a | grep zh_CN输出样例如下zh_CN.gbkzh_CN.utf8vim 只能正确识别列表中的中文编码文件,如需识别其他编码类型的中文文件,则需要做系统升级vi ~/.bash_profile转载 2017-08-31 10:46:05 · 3064 阅读 · 0 评论 -
httpd已经安装,但是/var/www/html网页打不开
今天遭遇httpd已经安装,但是/var/www/html网页打不开这个情况,网上有很多解决方案,包括关闭防火墙、selinux、或者是在httpd.conf上加ServerName localhost什么的,然而没有一个有用的,恩,这个情况仅仅是针对我不是针对你,或许这个方法对你有用,我会把具体方法给你们,你们可以一一尝试:1. chkconfig iptables off2.临时关闭s原创 2017-05-26 16:31:48 · 18304 阅读 · 7 评论 -
Spark map与flatmap区别
案例说明1:步骤一:将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本:步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三:查看map函数的返回值得到map函数返回的RDD:转载 2017-06-21 17:34:26 · 1080 阅读 · 0 评论 -
linux 脚本实现程序自动安装
linux 脚本实现程序自动安装#!/bin/bash //设置脚本中所需命令的执行路径PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/binexport PATH // $? 是取得上面执行命令的返回值,一般正确为0,错误为1if [ "$?" != 0 ] ;转载 2017-06-21 09:45:00 · 1458 阅读 · 0 评论 -
elasticsearch 初步了解
一、简介在大数据领域,自从有了 Hadoop 以后,大家渐渐习惯收集日志到 HDFS 中,然后每天运行 MapReduce 任务做统计报表。但是,面对诸如“新上线的版本过去几分钟在各地反馈如何”,“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题,传统的日志处理方案显得非常的笨拙和低效。复杂多变的实时数据分析需求,需要的是灵活快捷的响应处理,Elasticsearch的出现让这个问题转载 2017-06-08 16:31:11 · 441 阅读 · 0 评论 -
shell常见脚本
-e filename 如果 filename存在,则为真-d filename 如果 filename为目录,则为真 -f filename 如果 filename为常规文件,则为真-L filename 如果 filename为符号链接,则为真-r filename 如果 filename可读,则为真 -w filename 如果 filename可写,则为真 -x f原创 2017-05-12 11:38:23 · 318 阅读 · 0 评论 -
druid基本理解
最近因为一个项目,所以临时突击学习了一下druid,找了一些书和官网文章搭配,然后就有了下面的这个文章,Druid基本概念—Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统,提供低延时(实时)的数据接入,灵活的数据探索以及高速的数据聚合(存储和查询)。保存到Druid的数据由三部分组成:♦ Timestamp列:数据的时间戳列,所有的查询都是以时间为中翻译 2017-05-12 11:39:35 · 10161 阅读 · 1 评论 -
hive hbase整合
Hive和Hbase有各自不同的特征:hive是高延迟、结构化和面向分析的,hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。 Hive继承HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive集成HBase需要在Hiv转载 2017-05-12 11:55:07 · 388 阅读 · 0 评论 -
hive导出hbase数据
hive和hbase连接使用是生产中很常见的一种方法,hbase当做存储结构,hive用作查询,下面的方法是使用hive导出hbase数据的一种方法,前提是hive已经和hbase整合,如果你还没整合,可以去看看我的另一篇文章,里面有hive和hbase整合的方法#b不能丢弃,否则hbase数据转换不出中文--建立映射表CREATE EXTERNAL TABLE if not原创 2017-05-12 11:56:44 · 1424 阅读 · 0 评论 -
hive打印hbase时间戳
前提hive和hbase已经整合,如果还没整合,可以看看我的另一篇文章或者百度一下搜索相关内容即可CREATE EXTERNAL TABLE if not exists bers(rkey STRING,es_jcsx_rksx_zjlx string,time bigint --bigint 固定的,不能换成别的类型)ROW FORMAT SERDE 'org.apach原创 2017-05-12 12:06:39 · 1556 阅读 · 1 评论 -
hadoop查询文件保存在机架的位置
工作的时候总会遇到各种问题,有时候会被要求看文件具体保存在那个机架上,还好hadoop提供了相关命令hadoop fsck /tmp/csv -blocks -files -locations -racks-blocks 块-files 文件-locations 位置-racks 机架原创 2017-05-12 11:51:20 · 583 阅读 · 0 评论 -
hive on tez Caused by: java.lang.OutOfMemoryError: Java heap space
昨天进行两个hive表关联导出数据,不幸的是爆出如下错误:Status: FailedVertex failed, vertexName=Map 5, vertexId=vertex_1443634917922_0008_1_05, diagnostics=[Task failed, taskId=task_1443634917922_0008_1_05_000006, diagnosti原创 2017-05-25 09:21:11 · 7011 阅读 · 1 评论 -
hadoop 查看文件大小命令
hadoop fs -ls -du -s -h 文件目录转载 2017-05-25 09:31:57 · 6745 阅读 · 0 评论 -
蠕虫攻击防范方法
昨天周日突然听闻蠕虫攻击势头凶猛,赶紧查询了一下如何防范,且不说服务器,只说下个人本子如何防范;方法一:安装360,开启360反勒索服务,方法二:因为这次蠕虫病毒主要是因为windows的445端口问题造成,所以大家可以关闭445端口(这是一个平时没什么用途的且被默认开启的端口),具体方法如下控制面板---系统和安全---windows防火墙---高级设置---入站规则---新原创 2017-05-15 08:44:26 · 897 阅读 · 0 评论 -
hive权限设置
Hive权限介绍一、开启权限 眼下hive支持简单的权限管理,默认情况下是不开启。这样全部的用户都具有同样的权限。同一时候也是超级管理员。也就对hive中的全部表都有查看和修改的权利,这样是不符合一般数据仓库的安全原则的。Hive能够是基于元数据的权限管理。也能够基于文件存储级别的权限管理。此次以介绍MetaData权限管理为主。通过下面配置开启Hive身份认证转载 2017-05-26 09:03:32 · 2434 阅读 · 0 评论 -
HDFS权限控制
HDFS支持权限控制,但支持较弱。HDFS的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组:hadoop fs –chmod (修改文件所有者,文件所属组,其他用户的读、写、执行权限)haddop fs –chown (修改文件所有者)hadoop fs –chgrp转载 2017-05-26 09:05:37 · 788 阅读 · 0 评论 -
克隆机 移动虚拟机应该做的修改
有时候为了方便,我们会拷贝或者克隆虚拟机,克隆虚拟机后是不能直接使用的,需要做一些修改,具体方法如下:1.修改主机名 vi /etc/sysconfig/network(如果不需要修改,这个可以不用考虑)2.修改网卡 vi /etc/udev/rules.d/70-persistent-net.rules3.修改网卡的UUID vi /etc/sysconfig/net原创 2017-05-17 11:40:13 · 1226 阅读 · 0 评论 -
desktop位置不可用,桌面文件丢失,重启无效
今天上班,突然接到电话说家里电脑出了问题,就利用午休时间,远程控制了一下,发现问题:开始菜单点不开、键盘开始菜单按钮失效、右击开始菜单也无效(我的系统是win10)、控制面板也找不到、小娜搜索控制面板出来点击无效;以下是我解决的办法1、360杀毒,并没有发现病毒2、卸载最近下载的一个补丁3、按alt+ctrl+delete快捷键,弹出任务管理器,然后文件、运行新任务、展开HKEY_CU原创 2017-05-17 14:49:27 · 37346 阅读 · 4 评论 -
虚拟机强制关机后打不开怎么破
因为一些原因导致虚拟机会被强制关闭,有些时候打不开,这很尴尬,所以为了避免解决这种情况,我总结了一下2点方法提供给各位:1.出现获取所有权提示的时候仍然打不开,可以找到虚拟机安装目录,搜索.lck文件,记住是文件不是文件夹,删除文件即可;2.出现还原虚拟机状态后失败,打不开,报不可恢复错误什么的,找到虚拟机安装目录,搜索.vmss程序,删除它就可以了只有最简单的一些文字说明,因为这是我原创 2017-05-18 16:43:03 · 19102 阅读 · 4 评论 -
ssh 虚拟机特别慢 反应超时解决办法
今天重新创建了几台虚拟机,想搭建一个测试环境,尴尬的是在第一步的时候配置免密的时候就出了问题,网上查了一些资料,终于把问题解决了,现在分享给可能遇到这个问题的各位问题:ssh ***@192.*.*.* ,然后就一直卡在这个地方,很久以后才会出现让输入密码的提示解决办法:1.关闭防火墙--systemctl disable firewalld;service firewalld sto原创 2017-05-19 14:30:44 · 4557 阅读 · 0 评论