- 博客(8)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 大数据技术原理与应用 【笔记】
环境看视频： http://study.163.com/course/courseMain.htm?courseId=1002887002前言个人笔记 视频笔记正文大数据 思路的转变：全样而非抽样 效率而非精确 相关而非因果核心技术分布式存储 和 分布式处理云计算解决了：分布式存储 、 分布式处理、虚拟化和多租户；HadoopYARN 简称“样...
2018-06-27 18:09:15
1078
原创 spark RDD 笔记
环境spark：2.3.1 java：1.8 Hadoop：2.7.6前言个人笔记概念在较高层次，每个Spark应用都是由driver program（驱动程序）组成，其中驱动程序就是运行用户main函数并在集群上执行各种并行操作。Spark提供的主要抽象就是RDD，它是跨群集节点分区的元素集合，可以并行操作。 RDDs是在Hadoop文件系统（或任何其他Hado...
2018-06-22 17:20:25
237
原创 spark sql 编程笔记
环境spark：2.3.1 java：1.8 Hadoop：2.7.6前言个人笔记正文SparkSession这个是java代码的入口点。一切的一切都是从这里开始的。DataFrames相当于关系型数据库中的表的概念 在spark中是Rows。Temporary views 临时视图创建方法：SparkSession spark =...
2018-06-22 09:28:41
380
原创 Spark 和 Hadoop 本地【window】环境搭建
环境Spark：2.3.1 Hadoop：2.7.6 java：1.8前言最近主要是在学习Spark，根据官网的文档，想本地跑个小程序看看效果；https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications具体想执行的官方代码如下：/* SimpleApp.java ...
2018-06-20 13:13:13
1753
原创 端午节小记 捣鼓【OGame】页游
环境PHP：5+ mysql:应该也是5吧，忘了，最新的就行。前言放假前，网上查资料时，无意中发现了OGame的源代码。这个页游我先贴个图：这款游戏我是高中开始接触，大概是11年吧！那个时候我是在一个山寨手机上玩的！这是我拥有手机玩的的第一个多人在线的网络游戏！那个时候一方面准备高考，但是压力大；另一方面利用空余时间玩玩这个游戏来缓解压力！这游戏得经常在线，怕别人打；再后来进...
2018-06-18 23:18:46
808
1
原创 shell 实践版 $0 和 dirname的含义
环境服务器：centos6.5 工具：CRT场景今天依然是在看alluxio-mount.sh脚本看到这么一句：$(cd "$( dirname "$( readlink "$0" || echo "$0" )" )"; pwd)这里面的$0，我经常看到，但是我总是忘记
2018-06-05 12:01:53
4068
1
原创 shell 点号 空格 脚本 和 修改alluxio启动脚本的java路径
环境服务器：centos 6.5 工具：CRT场景今天在看alluxio启动脚本时，发现了这么一段代码：DEFAULT_LIBEXEC_DIR="${BIN}"/../libexecALLUXIO_LIBEXEC_DIR=${ALLUXIO_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}# 这里我很好奇，为什么就多了一个空格. ${ALLUXI...
2018-06-04 17:41:42
352
原创 java 【synchronized】简单应用
环境java：1.7场景公司一项目有个疑难问题：如上图，当狂点按钮时，会发送很多请求；而这样会造成 加入的数据会出现重复； 虽然可以叫前端去控制，但是这其实应该在后端进行控制，因为绕过前端js并不是一件很难的事情。我们先来分析下，会出现重复的原因：1、首先我们先来看看代码：//其他代码省略...if (fullCodes.contains(fullCod...
2018-06-01 17:00:07
1084
scalable-io-in-java-中文.pdf
2019-07-04
SSH整合时出现空指针问题
2014-11-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人