- 博客(12)
- 收藏
- 关注
RSS订阅
原创 HBase从删库到跑路系列：误删数据如何抢救？
HBase从删库到跑路系列：误删数据如何抢救？话痨解释一番：删库是一个搞笑的说话，在我们的行业间还是要遵循道德的，做一个文明健康的IT人。遵循行业的规则。进入正题：有时候我们操作数据库的时候总会有犯迷糊的时候，一不小心误删数据，这时候应该如何找回？我们知道mysql数据库里有binlog可以帮助我们吧删除的数据恢复，但是如果没有开binlog也没有去备份的话那就尴尬了。如果是大数据的插件HBase...
2018-06-28 18:42:20
729
转载 云计算平台构建与实验设计
课程设计任务书一、作业目的 物联网的核心是应用，应用的核心是云计算。通过构建一个云计算平台，并利用这个平台设计云计算实验，将结果与普通的电脑计算比较两者的差别，感受云计算的优越性能，从而对物联网有更深刻的体验与认识。二、作业内容及要求 能够按照课程设计任务书按照相应的要求完成整个云计算平台的搭建，要完成这个任务，就要对云计算平台的架构和原理有一定的认识，对物联网的应用层有深入的学习，通...
2018-06-20 14:36:37
11453
3
转载 Spark作业执行原理
Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。作业（Job）：RDD中由行动操作所生成的一个或多个调度阶段。调度阶段（Stage）：每个Job作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，简称阶段，也叫做任务集（TaskSet）。调度阶段的划分...
2018-06-20 14:32:19
587
原创 Storm-1.1.0 集群搭建手册---[还有升级的小技巧哦]
部署前准备 下载apache-storm-1.1.0http://storm.apache.org/downloads.html网页下去寻找apache-storm-1.1.0.tar.gz，然后下载此虚拟机版本此文拿三个节点类比N个节点的Storm集群配置的搭建，此文搭建的是HA-Storm的集群。下面就让我们一起来搭建storm集群，具体步骤如下： /etc/hosts信息...
2018-06-14 14:50:52
621
4
转载 SparkContext的parallelize
在一个Spark程序的开始部分，有好多是用sparkContext的parallelize制作RDD的，是ParallelCollectionRDD，创建一个并行集合。例如sc.parallelize(0 until numMappers, numMappers)创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份。在集群模式中，Spark将...
2018-06-21 10:38:31
1659
转载 IntelliJ Idea 常用快捷键列表
Ctrl+Shift + Enter，语句完成 “！”，否定完成，输入表达式时按 “！”键 Ctrl+E，最近的文件 Ctrl+Shift+E，最近更改的文件 Shift+Click，可以关闭文件 Ctrl+[ OR ]，可以跑到大括号的开头与结尾 Ctrl+F12，可以显示当前文件的结构 Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择 Ctrl+N，可...
2018-06-21 10:36:31
141
翻译 如何解释清楚IaaS、SaaS 和 PaaS 的区别？
当别人问到 IaaS、SaaS 和 PaaS有什么区别的时候，如果你只是解释说SaaS是Software-as-a-service，PaaS是Platform-as-a-Service，IaaS是Infrastructure-as-a-Service，别人依然是一头雾水。这时候我们不妨举一个例子。如果你是一个网站站长，想要建立一个网站。不采用云服务，你所需要的投入大概是：买服务器，安装服务器软件，...
2018-06-20 15:40:50
292
转载 Spark Standalong模式运行原理解析
一、概述 Apache Spark是一种快速和通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持一般执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和Spark Streaming。 Spark除了在Mesos或YARN群集管理器上运行，它还提供了一种简...
2018-06-20 14:46:44
605
转载 基于Hadoop的云计算平台搭建（伪分布式）
本主编心血来潮，整理出此文档，若有不对的地方请诸位指出错误准备：自行下载Vmvare虚拟机，SecureCRT和CentOS-6.5-x86_64-bin-DVD1.iso(镜像文件)关于VMware，SecureCRT的安装以及在VMvare虚拟机上如何装Centos-6.5都很简单，大家网上查找如何安装以及其注意事项即可，在这里不再说明。请谅解，以上环境都准备好的，接下来我们进入正式的环境配置...
2018-06-20 14:37:55
776
转载 Spark运行架构-简要版
1、构建Spark Application运行环境：在Driver Program中新建SparkContext（包含SparkContext的挰序称为Driver Program）；Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由SparkContext来协调。2、Spark Context向资源管理器申请运行Execuotr资源，并启...
2018-06-20 14:30:05
194
转载 Storm-kafka集成——1.1.0版本storm中tuple取KafkaSpout数据详解
问题描述：KafkaSpout拉取kafka topic数据，下一级bolt从kafkaspout获取数据，tuple到底采用什么方法取出spout中的消息呢？KafkaSpout创建：/**根据数据源topic和zk_id创建并返回kafkaSpout* */public static KafkaSpout init(String spout_topic,String zk_id){ ...
2018-06-20 14:09:24
1121
1
转载 基于改进的K-means算法在共享交通行业客户细分中的应用
摘要：信息时代的来临使得企业营销焦点从产品中心转变为客户中心，客户关系管理成为企业的核心问题。准确的客户分类结果是企业优化营销资源分配的重要依据，客户分类越来越成为客户关系管理中亟待解决的关键问题之一。面对共享单车行业激烈的市场竞争，各个共享交通公司都推出了更优惠的营销方式来吸引更多的客户，本文借助国内某高校的校园萝卜车共享交通平台，建立了合理的客户价值评估模型—LRFMD模型，基于改进的K-me...
2018-06-01 19:43:27
2811
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人