- 博客(12)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【向Linux迁移记录】Deepin Linux下Spark本地模式及基于Yarn的分布式集群环境搭建
文章目录Spark本地模式及基于Yarn的分布式集群环境搭建为集群配置Spark History Server【向Linux迁移记录】Deepin下java、大数据开发环境配置【一】【向Linux迁移记录】Deepin下Python开发环境搭建【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建【向Linux迁移记录】基于Hadoop集群的Hive安装与配...
2019-01-31 17:28:49
596
原创 eclipse安装Scala IDE插件及An internal error occurred during: "Computing additional info"报错解决
eclipse安装scala插件注意：eclipse版本不要太新其实我建议直接下载Scala IDE for Eclipse：http://scala-ide.org/download/sdk.html如果已安装eclipse的话，可以去安装scala IDE插件，不建议直接在eclipse MarketPlace安装，有可能版本太新可能不适配，如图点击这里下载，选择和你eclipse、...
2019-01-31 17:14:51
7896
1
转载 Git使用教程：最详细、最傻瓜、最浅显、真正手把手教！
文章收纳于 https://github.com/josonle/Coding-Now ，欢迎前来骚扰学习记录的一些笔记，以及所看得一些电子书eBooks、视频资源和平常收纳的一些自己认为比较好的博客、网站、工具转载自：https://www.cnblogs.com/tugenhua0707/p/4050072.html一、Git是什么？Git是目前世界上最先进的分布式版本控制系统。...
2019-01-24 21:53:46
592
原创 【向Linux迁移记录】基于Hadoop集群的Hive安装与配置详解
基于Hadoop集群的Hive安装配置Hive可以安装在任一节点或集群之外，我这里是计划装在Master节点上。其次Hive也就是在hadoop上加了一层SQL接口，便于通过简单的SQL语言翻译成MapReduce作业。而hdfs的特性是可追加不可修改，但数据库表是可以修改删除的，所以Hive的所存储的数据应当分成两部分，表的元数据外部存储以便修改，表中数据存储在hdfs上即可。hive是...
2019-01-24 18:02:45
513
1
原创 Deepin Linux 安装启动scala报错 java.lang.NumberFormatException: For input string: "0x100" 解决
Scala下载及安装因为我是要开发Spark程序所以才使用scala的，版本适配问题可以避免之后可能遇到稀奇古怪的问题，开发文档开头就有如下介绍Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.4.0 uses Scala 2.11. You will need to use a co...
2019-01-23 22:17:09
5113
3
原创 【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建
还是因为迁移到Deepin上开发的缘故，原来在win10上搭建的hadoop集群用不上了，所以这次重新搭一下。我之前写过一篇hadoop伪分布式搭建的文章，完全分布式集群的搭建和这差不多，不同点在于如何构建集群，以及配置文件上有些许不同。另外，我前几天写了Deepin下java、大数据开发环境配置【一】是这次博客的前提，讲了如何在Deepin Linux下安装java、VMware以及VMware...
2019-01-23 21:56:44
1302
2
原创 【向Linux迁移记录】Deepin下Python开发环境搭建
【向Linux迁移记录】Win10下双系统Deepin15.8安装记录：https://blog.csdn.net/lzw2016/article/details/86260546【向Linux迁移记录】快速入门学习Linux之常用命令：https://blog.csdn.net/lzw2016/article/details/86534753【向Linux迁移记录】Java和大数据开发环境...
2019-01-20 22:41:55
5753
3
原创 【向Linux迁移记录】Deepin下java、大数据开发环境配置【一】
文章目录前言安装java环境eclipse安装配置eclipse启动图标并添加到桌面配置mavenMySQL数据库安装VMWare安装Virtual machine monitor failed导致无法启动VMWare解决如何卸载VMWareVMware最小化安装centos 搭建集群后续补充Deepin上hadoop、spark生态环境搭建前言一来是推广Deepin这个国产的Linux子系统...
2019-01-20 22:41:39
1026
原创 分享几个自认为不错的学习Spark的视频资源（百度云）
有段时间没写大数据相关的博客了，主要是最近一边学着Spark，一边手上做着基于Hadoop的实现一个web端推荐系统的项目。想写点东西，整理了一会儿发现写的不咋地就没发出来，这次就放几个Spark的学习视频资源吧，是百度云链接啊学习 Scala 进击大数据 Spark 生态圈：https://pan.baidu.com/s/1Ld35QE4xfsOQ9o6qFwxL0A 密码：detmSp...
2019-01-18 22:26:23
16564
25
原创 【向Linux迁移记录】Linux中常用搜索命令（find、which、whereis、locate）使用
find搜索命令find用来查找文件，命令格式 find [指定目录][查找条件][指定动作]指定目录：不指定，默认当前目录。指定的话，默认该目录及其子目录下查找查找条件： -name 根据名字查找 -iname 同上，但文件名不区分大小写 -size 根据文件大小查找, +,-:大于设置的大小,直接写大小是等于 -user 查找用户名的所有者的所有文件 ...
2019-01-18 10:00:40
207
原创 【向Linux迁移记录】Win10下双系统Deepin15.8安装记录
文章目录前言Deepin介绍及下载制作U盘启动盘分区计划100G进入bios进行相关设置安装Deepin并分区重启没有Deepin启动项怎么办？后续deepin如何寻找、安装非商店软件deepin下办公平台之字体安装Deepin下如何科学(地)上网参考我接下来几篇如何搭建开发环境的文章：https://github.com/josonle/Coding-Now#linux系统下开发环境搭建前言...
2019-01-10 22:33:41
3660
1
原创 Spark1.x和2.x如何读取和写入csv文件
看很多资料，很少有讲怎么去操作读写csv文件的，我也查了一些。很多博客都是很老的方法，还有好多转来转去的，复制粘贴都不能看。下面我在这里归纳一下，以免以后用到时再费时间去查通过sc.textFileval input = sc.textFile("test.csv")val result = input.map { line => val reader = new CSVRea..
2019-01-01 21:28:27
6879
4
Linux版XMind8 Pro思维导图安装教程
2019-03-19
最新XMind8破解资源及序列号分享
2019-03-17
hive安装所需配置文件
2019-01-24
hadoop完全分布式所需的九个配置文件
2019-01-23
VS2015编译程序时报错缺失的msvcp140d.dll和ucrtbased.dll
2018-12-22
Hadoop伪分布式搭建配置文件
2018-11-18
Python系统学习规划及相应知识整理
2017-08-19
【Python应用核心编程 第3版】（ Core Python Applications Programming Wesley Chun）
2017-08-19
c++较全面的头文件，经典代码汇集
2017-04-30
Python如何迭代字符串
2017-10-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人