hadoop
文章平均质量分 50
po_int
这个作者很懒,什么都没留下…
展开
-
hadoop学习linux环境搭建
1. linux环境设置1.1修改主机名vim /etc/sysconfig/network更改HOSTNAME1.2修改IPvim /etc/sysconfig/network-scripts/ifcfg-eth0修改BOOTPROTO = "static"IPADDR=NETMASK=GATEWAY=1.3修改主机名和IP的映射关系vim /et原创 2017-07-06 11:12:21 · 181 阅读 · 0 评论 -
shell 学习
1,自动生成 ip 用for 循环生成连续的ip ,写入到文件#!/bin/bashfor((i=0; ido echo 192.168.5.$i &>> /home/root/groupdone 2, 自动ping 文件中的ip将文件中的ip 读出来,然后一个一个ping , 结果发现太慢了,停不了了。#! /bin/bashecho 'this is ping_ip_test'for grou原创 2018-01-19 11:48:08 · 167 阅读 · 0 评论 -
安装R和RStudio-server
参考了网上很多文档,就不一一列出来了。1,集群配置情况:spark 版本:spark2-2.1.0.clouderal-1.cdhCDH 版本:CDH-5.13.0-12,安装R解压软件包以及进行相关配置将R3.1.2压缩包放在/home/packages/目录下,并解压。创建R安装目录/home/R配置安装包: ./configure --enable-R-shlib=yes --prefix=...原创 2018-05-07 21:55:04 · 2732 阅读 · 2 评论 -
sparklyr连接spark
1,安装sparklyrRStudio安装好后,需要安装sparklyr包来连接spark;https://spark.rstudio.com/guides/connections/安装sparklyr包需要很多依赖包,需要一一安装,需要注意支持的版本。当时没注意版本,折腾了很久。碰到的问题有(1) stringi安装不上。最后参考网上安装了string-master解决:https://cran...原创 2018-05-15 18:27:52 · 937 阅读 · 0 评论