2019年05月_芹菜学长

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 Rstudio3.5下载包编译报错

利用Rstudio编译报错这个时候要检查一下自己的gcc 的版本了，如果是cent OS 6的版本的话，gcc 的版本应该是4.4.7有些R的包需要gcc的编译器的版本要高于4.4.7解决方案我有两个:1.cent OS6 就换cent OS 7 默认的gcc的版本是:4.82.自己安装高于gcc4.4.7以上版本的编译器，这个网上有大量的教程。我当时只是因为要在自己的电脑上配置一个...

2019-05-31 10:02:24 377

翻译 Spark1.6 sparkR的API 中文一览

DataFrame描述：DataFrame能够被createDataFrame,read.json,table 这样的函数创建用法:dataFrame(sdf,isCached = FALSE)groupedData(sgd)参数：sdf: 一个对scala DataFrame的支持的java对象引用isCached: ...

2019-05-27 16:52:08 958

原创 sparkR的运行报错

前提条件集群中的所有的节点都要安装R的运行环境(不会安装的，请参照我的另外一篇博客地址)集群中的所有的节点的spark环境的位置都要一致R语言程序能够正确运行行吧，做好了以上三条我就没有遇到错误，有问题评论区见~...

2019-05-22 18:52:13 221

原创 Cent OS 7安装R&Rstudio

就这两条命令吧yum install epel-repleaseyum install R执行完毕之后就会出现输入一个大写的R可能出现的错误：找不到epel-replease，更换一下yum源就好了吧，我换的是aliyun的yum源。...

2019-05-21 13:58:47 432

原创 Azkaban的安装搭建（solo server mode 也就是单机模式啦）

Azkabanazkaban是一个任务调度软件，任务调度工具。Azkaban的工作流的调度因为最近在做一个利用sqoop进行mysql的数据导入到hdfs的工作。本来就是一个简简单单的导入工作。不知道为什么，就突然，聊着聊着突然就要做自动调度了嗯，自动调度就自动调度吧。。。一般linux都自带有crontab，这个东西可以做定时任务的，可以在里面直接运行shell脚本。这么一想，美滋滋...

2019-05-21 13:31:23 998

场景有一个parquet的表table_A，然后创建一个多分区表table_BA表的数据大小大约是1.21G（parquet压缩之后的大小，数据记录大概有270W条。Table_B的分区是根据年、月、日三个条件进行分区的。insert overwrite table table_B partition (year,month,day) select id,name,... B_year as...

2019-05-12 22:14:24 868

原创 hadoop分布式文件系统的普通用户权限管理

普通用户访问hadoop文件管理系统如果分布式文件系统的安装用户是root的话，那么，对于一个普通用户来说，是不能对hdfs的文件目录进行读写操作。linux操作系统：cent OS 6普通用户使用命令hadoop fs -mkdir /normal这样的命令就会报错：permisson denined user='yourusername',access= xxxx,inode =...

2019-05-12 20:44:18 3309

原创 Mysql表字段为关键字的时候查询怎么办？

如果你也曾遇到过mysql中表字段为关键字字段的字段描述id唯一字段name名字desc描述select id,name,desc from test;此时会报错那么要在desc的左右两面加上一个反引号 ` （就是键盘上ESC下面的那个）select id,name,`desc` from test;这个时候我查到数据了...

2019-05-05 14:45:43 3164