linux
文章平均质量分 64
Yoga-jiang
在晶赞从事大数据研发工作
展开
-
hive优化大全-一篇就够了
1.概述 在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总合并优转载 2021-01-25 14:36:43 · 3828 阅读 · 0 评论 -
Linux 下上传下载命令,SCP,SFTP,FTP
scp帮助命令: man scpscp功能: 下载远程文件或者目录到本地, 如果想上传或者想下载目录,最好的办法是采用tar压缩一下,是最明智的选择.从远程主机 下载东西到 本地电脑 拷贝文件命令 scp user@host:/path/file /localpath 即 scp 用户名@IP:/文件路径 /本地文件路径 如果拷目录就 scp -r user@host:/dirpath /转载 2017-04-06 14:34:28 · 13123 阅读 · 0 评论 -
linux远程下载文件 的两种方法之 ftp命令和scp命令
ftp命令: 服务器有安装ftp Server,另外一台linux可以使用ftp的client程序来进行文件的拷贝读取和下载。 1. 连接ftp服务器 格式:ftp [hostname| ip-address] a)在linux命令行下输入:ftp 192.168.26.66 b)服务器询问你用户名和口令,分别输入用户名和相应密码,待认证通过即可。 2. 下载文件转载 2014-09-03 09:57:57 · 2328 阅读 · 0 评论 -
Hadoop集群(第5期)_Hadoop安装配置
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分转载 2014-09-03 10:20:12 · 371 阅读 · 0 评论 -
hive 基础内容
(一): Hive 是什么 在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hive wiki 上的介绍: Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put转载 2014-08-29 11:18:26 · 435 阅读 · 0 评论 -
hive_优化
什么是数据倾斜•由于数据的不均衡原因,导致数据分布不均匀,造成数据大量的集中到一点,造成数据热点Hadoop框架的特性•不怕数据大,怕数据倾斜•jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的•sum,count,max,min等UDAF,原创 2014-09-10 10:56:06 · 430 阅读 · 0 评论 -
CentOS-6.3安装配置JDK-8
系统环境:CentOS 6.3 64位安装方式:rpm安装 软件:jdk-8-linux-x64.rpm下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html检验系统原版本[plain] view plaincopyprint?转载 2014-09-19 14:31:45 · 533 阅读 · 0 评论 -
配置Hive
配置HiveHive的配置文件名为hive-site.xml,你可以在Hive安装目录下的conf目录下找到这个文件。如果你发现该目录下没有这个文件,你可以通过复制hive-default.xml.template来生成该文件。当然,你也可以在进入hive时指定参数来明确指明配置文件所在目录。比如:hive --config /home/user/hive-conf你也可以在进入h转载 2014-08-21 16:05:09 · 577 阅读 · 0 评论 -
hive-学习内容
1 hive的正则匹配搜索表 show table原创 2014-09-18 10:26:33 · 470 阅读 · 0 评论 -
U盘安装centos6.5教程(kowems博客)
U盘安装centos6.5和安装centos6.3没啥本质区别所需工具:一、UltraISO(用来制作 U 盘启动)二、CentOS 6.5 位系统镜像(建议下载bin版镜像,minimal也行)三、U 盘一只要求:U 盘容量 8G四、vesamenu.c32 文件——用来替换 CentOS 6.5 默认文件(附件中我提供了哦,解压缩后替换原来的文件)这里我没用到转载 2014-07-01 15:39:03 · 616 阅读 · 0 评论 -
Linux知识:/root/.bashrc与/etc/profile的异同
要搞清bashrc与profile的区别,首先要弄明白什么是交互式shell和非交互式shell,什么是login shell 和non-login shell。交互式模式就是shell等待你的输入,并且执行你提交的命令。这种模式被称作交互式是因为shell与用户进行交互。这种模式也是大多数用户非常熟悉的:登录、执行一些命令、签退。当你签退后,shell也终止了。 shell也可以运行在另外一种模转载 2014-05-23 19:11:45 · 1003 阅读 · 0 评论 -
如何卸载已经安装在ubantu上的ssh
ubuntu默认并没有安装ssh服务,如果通过ssh链接ubuntu,需要自己手动安装ssh-server。判断是否安装ssh服务,可以通过如下命令进行:$ ssh localhostssh: connect to host localhost port 22: Connection refused如上所示,表示没有还没有安装,可以通过apt安装,命令如下:$原创 2014-05-23 13:52:37 · 1739 阅读 · 0 评论 -
配置linux服务器之间ssh不用密码访问
如果想在 A 这太机器上可以不需要密码就 ssh 到 B 、 C 两台机器上,可以采用如下的方法:( 1 ) 在 A 机器上: ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/nutch/home/.ssh/id_rsa): 不输入任何东西转载 2014-05-23 18:55:50 · 614 阅读 · 0 评论 -
Ubantu系统中的apt-get命令的认识
什么是apt-get是debian,ubuntu发行版的包管理工具,与红帽中的yum工具非常类似。apt-get命令一般需要root权限执行,所以一般跟着sudo命令。例:sudo apt-get xxxx2apt命令用法packagename指代为软件包的名称apt-get update在修改/etc/apt/sources.list或/etc/apt/p转载 2014-05-23 15:52:43 · 839 阅读 · 0 评论 -
ubuntu默认root密码
安装完Ubuntu后忽然意识到没有设置root密码,不知道密码自然就无法进入根用户下。到网上搜了一下,原来是这麽回事。Ubuntu的默认root密码是随机的,即每次开机都有一个新的root密码。我们可以在终端输入命令 sudo passwd,然后输入当前用户的密码,enter,终端会提示我们输入新的密码并确认,此时的密码就是root新密码。修改成功后,输入命令 su root,再输入新的密码就原创 2014-05-23 15:30:20 · 435 阅读 · 0 评论 -
Linux新手入门:Unable to locate package错误解决办法
最近刚开始接触Linux,在虚拟机中装了个Ubuntu,当前的版本是Ubuntu 11.10,装好后自然少不了安装一些软件,在设置了软件的源后,就开始了 sudo apt-get install,结果出现了下面的Unable to locate package错误:letuknowit@ubuntu:~$ sudo apt-get install mysql-server转载 2014-05-23 14:26:50 · 5484 阅读 · 0 评论 -
ubuntu中配置ssh无密码登入的基本步骤
首先在Ubantuxi1.产生本地的公钥,私钥对2.修改私钥权限为600,只能本人访问。3.上传公钥到服务器4.将公钥内容附加到远程主机主目录的/.ssh/authorized_keys文件内。 修改authorized_keys权限为600 删除上传的公钥。5.在本地的密钥环中导入新建的密钥对。命令如下:1.ssh-keygen -t rsa#中途提示输入转载 2014-05-22 21:27:23 · 836 阅读 · 0 评论 -
如何在Ubantu下安装jdk7版本
1.下载JDK目前最新的JDK版本是:Java SE Development Kit 7u5下载地址:http://download.oracle.com/otn-pub/java/jdk/7u5-b06/jdk-7u5-linux-i586.tar.gz查看最新:http://www.oracle.com/technetwork/java/javase/downloads原创 2014-05-22 20:54:50 · 729 阅读 · 0 评论