学习,我们是认真的

专注大数据研发,数据分析与挖掘

排序:
默认
按更新时间
按访问量

如何快速学习一个开源框架

你有个任务,需要用到某个开源项目;或者老大交代你一个事情,让你去了解某个东西。怎么下手呢?如何 开始呢?我的习惯是这样: 1.首先,查找和阅读该项目的博客和资料,通过google你能找到某个项目大体介绍的博客,快速阅读一下就 能对项目的目的、功能、基本使用有个大概的了解。 2.阅读项目的文档,...

2018-07-22 18:46:03

阅读数:306

评论数:0

Linux命令学习笔记

1.echo命令 说明:用于在终端输出字符串或者变量的值 使用方法:echo [字符串 || $变量] 实例: echo “HelloWorld” echo $SHELL 2.date命令 说明:用于显示或者设置系统的时间以及日期 使用方法:date [选项] [+指定的格式] ...

2018-07-20 21:35:41

阅读数:45

评论数:0

一个企业的大数据分析平台的构建方法

导读 在搭建大数据分析平台之前,要先明确业务需求场景以及用户的需求,通过大数据分析平台,想要得到哪些有价值的信息,需要接入的数据有哪些,明确基于场景业务需求的大数据平台要具备的基本的功能,来决定平台搭建过程中使用的大数据处理工具和框架。 面对海量的各种来源的数据,如...

2018-07-07 17:23:39

阅读数:408

评论数:0

scala学习之基础知识(一)

一.变量与函数定义 1.变量定义 在

2018-07-02 08:53:25

阅读数:30

评论数:0

scala系列之类层级关系

一.scala层级结构图   scala语言中所有的类都继承自一个共同的超类Any,是scala类层级的根节点,在其下面有两个子类:AnyVal和AnyRef,其中AnyVal是Scala中所有值类的超类,AnyRef是scala中引用类的超类。而在scala类层级的底部分布着两个特殊的类:NU...

2018-07-02 02:02:56

阅读数:55

评论数:0

scala学习说明

工作需要开始逐渐学习scala语言,以博客记录自己的学习过程,目前学习参考书籍主要为scala编程和快学scala两本中文翻译书籍(英文水平不行,哈哈),学习主要使用到的工具为JDK1.8.0_1.71,Scala2.12.0,IntelliJ IDEA Community Edition 201...

2018-06-17 22:19:38

阅读数:28

评论数:0

大数据学习之路

转载他人博客,原文地址:http://www.cnblogs.com/xing901022/p/6195422.html 大数据学习之路(持续更新中…) 在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机...

2017-08-11 16:10:00

阅读数:235

评论数:0

HDFS原理综述篇

概述HDFS即Hadoop分布式文件系统,主要用于支持海量数据的分布式存储管理,适合一次写,多次读取数据的应用场景。在HDFS文件系统中有几个重要的守护进程协调的运行来提供服务: 名称节点进程 辅助名称节点进程 数据节点进程 HDFS也是主从架构的。运行名称节点进程的服务器我们称之为主节点,运行...

2017-08-11 15:30:03

阅读数:279

评论数:0

HBase之shell操作

主要介绍一下HBase的相关shell操作hbase shell连接Hbase 连接上Hbase,可以看到版本号help命令查看可用的shell命令使用help命令查看Hbase支持的相关shell命令 create创建表语法格式: create ‘表名’, ‘列族1’,‘列族2’,‘列族n...

2017-08-10 13:30:55

阅读数:134

评论数:0

HBase总结之原理架构篇

概述Hbase是一个分布式的存储系统。Hbase利用Hadoop的HDFS作为其文件存储系统,利用Hadoop的MapReduce来处理Hbase中的海量数据。利用zookeeper作为其协调工具。在Hadoop整个生态系统中的位置关系如下图:特点 大:一个表的数据量可以很大,比如有数十亿行,百万...

2017-08-10 10:41:29

阅读数:258

评论数:0

动态规划

台阶问题题目: 有n级台阶,一个人每次上一级或者两级,问有多少种走完n级台阶的方法。为了防止溢出,请将结果Mod 1000000007给定一个正整数int n,请返回一个数,代表上楼的方式数。保证n小于等于100000。测试样例: 1 返回:1代码:import java.util.*;pu...

2017-08-08 20:54:58

阅读数:103

评论数:0

二叉树

知识点1.二叉树结构class Node{ int value; Node left; node right; public Node(int data){ this.value = data; } }2.二叉树常考题型 易结合队列、栈,数组、链...

2017-08-05 22:01:03

阅读数:112

评论数:0

Spark性能调优-集群资源分配策略

开发完成Spark作业之后,我们在运行Spark作业的时候需要为其配置一些资源参数,比如num-executors,executor-memory等,这些参数基本上都是可以在spark-submit命令中作为参数设置,但是如何设置合适的参数值是需要我们权衡考虑的(集群资源,调优经验,任务大小等)。...

2017-08-04 11:05:20

阅读数:431

评论数:0

二分搜索

局部最小值位置题目: 定义局部最小的概念。arr长度为1时,arr[0]是局部最小。arr的长度为N(N>1)时,如果arr[0]public class Solution { public int getLessIndex(int[] arr) { //特殊情况判断...

2017-08-03 22:50:09

阅读数:88

评论数:0

链表

环形链表插值问题题目: 有一个整数val,如何在节点值有序的环形链表中插入一个节点值为val的节点,并且保证这个环形单链表依然有序。给定链表的信息,及元素的值A及对应的nxt指向的元素编号同时给定val,请构造出这个环形链表,并插入该值。测试样例: [1,3,4,5,7],[1,2,3,4,0...

2017-08-01 19:14:13

阅读数:90

评论数:0

Spark源码之reduceByKey与GroupByKey

Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法,下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。官方源码解释:三种形式的reduceByKey总体来说下面三种形式的方法备注大意为: 根据用户...

2017-07-26 09:53:15

阅读数:6546

评论数:3

栈与队列

Stack栈的基本操作: new Stack():创建一个空栈 push(E e):将元素压入栈,返回值为该元素 pop():将元素弹出栈,返回值为该元素 peek():返回栈顶元素,但是并不从栈中移除该元素 empty():测试栈是否为空,返回boolean值可查询最值的栈问题题目: ...

2017-07-25 21:13:07

阅读数:247

评论数:0

位运算

算术运算符:+ - * / % 位运算符号:& | ^ ~ >> <<等交换练习题题目: 请编写一个算法,不用任何额外变量交换两个整数的值。给定一个数组num,其中包含两个值,请不用任何额外变量交换这两个值,并将交换后的数组返回。测试样例: [1,2] ...

2017-07-25 13:43:01

阅读数:93

评论数:0

字符串相关

编程语言均为JAVA。字符串面试题类型 规则判断:字符串是否符合某个规则 如整数规则,浮点数规则,回文字符串规则; 数字运算 字符串拼大整数的方式实现加减乘除运算,模拟笔算过程。 与数组操作相关的类型 (1)数组有关的调整,排序等操作 (2)快排的改写等 字符计数 c/c++中...

2017-07-23 16:41:31

阅读数:134

评论数:0

Java虚拟机之对象访问

Java虚拟机原理复习笔记-东东 今天主要学习一下Java语言中对象的访问机制,主要参考《深入理解Java虚拟机》这本书。 我们平常写Java程序的时候,创建一个对象实例是非常常见的语句,如Object obj = new Object(),创建完成后,new Object()这部分语义会反...

2017-07-21 09:44:13

阅读数:210

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭