大数据
文章平均质量分 52
CYJ_fightman
I have a dream~
展开
-
利用VMware在windows下虚拟化(划分)一块磁盘安装CentOS操作系统,并用Xshell远程访问
1.软件 VMware-workstation-full-11.0.0-2305329.exe:虚拟机划分软件 CentOS-6.5-x86_64-minimal.iso:系统映像文件 Xshell 6:远程连接 SSH Secure File Transfer Client:传输文件2.首先安装VMware和CentOS 自定义安装 – 下一步 – 稍后安装操作系统 – 客户机操...原创 2018-09-11 15:10:51 · 317 阅读 · 0 评论 -
spark中map()和flatmap()的区别
先过一下定义:map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。有点模糊,没关系,看例子:我们采用将每个元素按照空格的方法将每个元素进行分割,分别执行map与flatMap方法。map方法如下图所示:fl...原创 2018-10-11 16:10:23 · 7533 阅读 · 2 评论 -
《spark快速大数据分析》 -- 总结
3.13.2创建RDD两种方式:读取外部数据集和在驱动程序中对一个集合进行并行化。3.3RDD操作转化操作和行动操作:转化操作会返回一个新的RDD,比如mp()、filter();行动操作是向驱动器程序返回结果或把结果写入外部系统,会触发实际的计算,返回的类型是其他的数据类型。3.3.1转化操作...原创 2018-09-21 10:57:17 · 847 阅读 · 0 评论 -
Mac下spark的安装和完整的开发环境搭建
一、首先是Java环境的搭建: https://blog.csdn.net/CYJ2014go/article/details/82383024二、IntelliJIDEA的安装和插件配置: https://blog.csdn.net/CYJ2014go/article/details/82590801原创 2018-09-10 15:52:41 · 4286 阅读 · 1 评论 -
mac安装软件的一般目录
在unix系统下,这两个目录的区别还是有一些的1./usr/local下一般是你安装软件的目录,这个目录就相当于在windows下的programefiles这个目录2./usr/local/opt这个目录是一些大型软件的安装目录,或者是一些服务程序的安装目录;在安装了Homebrew的macOS系统上,所有的文件,都指向了Cellar目录下的程序,也就是说这个目录目前放的,主要是用来兼容...转载 2018-09-12 19:09:29 · 15423 阅读 · 0 评论 -
localhost设置无密登录
配置ssh无密码登录:cd /Users/xxxrm -rf *ssh-keygencd .sshmkdir authorized_keyscat xxx_rsa.pub > authorized_keyschmod 600 authorized_keysssh localhost若碰到登录被拒绝问题参考:mac ssh: connect to host localho...原创 2018-09-12 13:32:26 · 973 阅读 · 0 评论 -
mac ssh: connect to host localhost port 22: Connection refused
尝试两种办法:1、偏好设置 – 共享 – 远程登录(打勾允许)2、执行sudo systemsetup -f -setremotelogin on原创 2018-09-12 13:25:16 · 895 阅读 · 0 评论 -
用ifconfig命令,显示结果只有lo,没有eth0
解决: 1. 输入ifconfig -a命令,可以看到eth0和lo。 2. 进入/etc/sysconfig/network-scripts 目录,发现有ifcfg-eth0,即网卡(驱动)存在但未启用。 3. 输入ifconfig eth0 up,启用网卡。此时用ifconfig,只能看到inet6的地址,没有ip 4. vi /etc/sysconfig/network-script...原创 2018-09-03 20:29:25 · 1573 阅读 · 0 评论 -
关于nginx/tengine配置成功后,无法访问的问题
在前一篇文章中https://blog.csdn.net/CYJ2014go/article/details/82628686,nginx配置好了并且启动后,在网页中输入地址无法访问tengine,考虑是防火墙问题,如下解决:/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT/etc/init.d/iptables save/etc/in...转载 2018-09-11 17:01:21 · 1856 阅读 · 2 评论 -
linux(centos)下Tengine的安装
1.Tengine软件: nginx启动服务软件:2.将安装包放到/opt路径下,先安装依赖包,执行yum -y install gcc openssl-devel pcre-devel zlib-devel3.复制粘贴执行以下脚本,没反应的话按几下enter键./configure \ --prefix=/opt/sxt/soft/tengine-2.1.0/ \ --er...原创 2018-09-11 16:58:52 · 481 阅读 · 0 评论 -
scala总结
1.方法: def funcName([参数列表]) :[return type] = { funcBody return [expr] }例子: 在object add里面定义addInt方法object add{ def addInt( a:Int, b:Int ) : Int = { var sum:Int = 0 sum = ...原创 2018-09-05 11:29:30 · 359 阅读 · 0 评论 -
spark开发中问题记录
1.map和mapPartitions函数的区别:mapPartitions函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开...原创 2018-10-15 20:11:01 · 275 阅读 · 0 评论