- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 大数据面试题
转载自： https://tieba.baidu.com/p/5524551174?red_tag=2452717583（花时间思考一下吧！）公司A：1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么？ 怎么调优？5.项目用...
2018-09-30 22:27:51
303
转载 HBase的java操作，最新API。（查询指定行、列、插入数据等）
转载自： https://blog.csdn.net/m0_38075425/article/details/81287836–关于HBase环境搭建和HBase的原理架构，请见笔者相关博客。1.HBase对java有着较优秀的支持，本文将介绍如何使用java操作Hbase。首先是pom依赖：<dependency> <groupId>org.apache...
2018-09-30 16:00:14
1074
转载 HBase shell命令介绍
转载：https://www.cnblogs.com/ityouknow/p/7344001.htmlHBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面，HBase的搭建可以参考我的上一篇文章...
2018-09-30 14:32:06
316
转载 深入理解 Java 垃圾回收机制
转载：https://www.cnblogs.com/andy-zcx/p/5522836.html深入理解 Java 垃圾回收机制一：垃圾回收机制的意义java &nbsp;语言中一个显著的特点就是引入了java回收机制，是c++程序员最头疼的内存管理的问题迎刃而解，它使得java程序员在编写程序的时候不在考虑内存管理。由于有个垃圾回收机制，java中的额对象不在有“作用域”的...
2018-09-29 20:40:52
118
转载 那些堪称软件神器的工具或网站
转载：http://blog.sina.com.cn/s/blog_7f5571aa0102vvvs.html 那些堪称软件神器的工具或网站维棠 -全
2018-09-28 20:02:38
4705
转载 Postgis常用函数
转载自：https://blog.csdn.net/longshengguoji/article/details/473217331,基本操作函数AddGeometryColumn(<schema_name>, <table_name>,<column_name>, , , )给一个已存在属性数据表增加一个几何字段(geomtrycolumn)。schem...
2018-09-27 11:26:50
876
1
转载 Java反射机制
转载自：https://www.cnblogs.com/bojuetech/p/5896551.html Java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为Java语言的反射机制。1、关于Class &n...
2018-09-26 08:58:06
98
转载 Java 集合系列目录(Category)
转载自：http://www.cnblogs.com/skywang12345/p/3323085.html Java 集合系列目录(Category) 下面是最近总结的Java集合(JDK1.6.0_45)相关文章的目录。 01. Java 集合系列01之 总体框架02. Java 集合系列02之 Collectio...
2018-09-24 10:46:41
256
转载 深入理解Mysql——锁、事务与并发控制
深入理解Mysql——锁、事务与并发控制转载：https://www.toutiao.com/a6599928079051653646/mysql服务器逻辑架构每个连接都会在mysql服务端产生一个线程（内部通过线程池管理线程），比如一个select语句进入，mysql首先会在查询缓存中查找是否缓存了这个select的结果集，如果没有则继续执行 解析、优化、执行的过程；否则会之间从缓存...
2018-09-11 23:38:30
167
转载 Java并发原理
Java高级架构技术–Java并发原理网上有不计其数的并发编程文章，甚至有不计其数的书来介绍这个主题。你为什么要花10分钟时间来读完这篇文章呢？我给的答案：“他们全是废话。”，我觉得这个主题用10分钟就可以说完，根本不要用花这么长时间，也不用去折腾Java内存模型之类的东西。我只讲原理，不会告诉你怎么用Java的并发库，这是java doc干的事情理解Java并发原理或者其他语言的并发（没错，...
2018-09-11 23:00:05
702
原创 JAVA常用工具类
JAVA常用工具类(根据GITHUB代码统计)从Google你能搜索到大量的关于Struts,Spring,Hibernate,iBatis等比较大的框架的资料，但是很少有人去关注一些小的工具包，但是当你真正知道了这些包的用处之后，你会发现它能很大程度的帮你节省时间，能很方便的实现你的需求。当然，没有这些包，你也能实现你的需求，但是你需要时间。目录 - 第一部分：常用的16个工具类 -...
2018-09-11 22:28:32
19941
5
原创 DataFrame、Dataset、RDD的区别与联系及相互之间的转换
DataFrame、Dataset、RDD的区别与联系及相互之间的转换本文主要讲解Apache Spark 2.0中RDD，DataFrame和Dataset三种数据组织类型；它们各自适合的使用场景，是最常用的数据类型，在学习spark的过程中对其不是很了解，现在整理如下：一、共同点：1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大...
2018-09-09 18:25:09
2353
原创 基于scala的spark程序必学知识点
scala中常用的集合操作： https://blog.csdn.net/wangxiyanw/article/details/78254360spark常用的算子操作： http://www.cnblogs.com/zlslch/p/5723857.htmlspark读写操作数据库： https://blog.csdn.net/mys_35088/article/details/81...
2018-09-09 16:51:58
234
转载 Spark常用算子讲解
转载自:http://www.cnblogs.com/zlslch/p/5723857.html Spark常用算子讲解 Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformatio...
2018-09-09 16:39:35
161
原创 scala学习中遇到的问题
1.什么scala中的高阶函数所谓一阶函数就是函数的参数不是函数，而是普通的变量；所谓高阶函数就是函数的参数是函数，此时认为函数是高阶函数。 用+=可以向集合当中添加具体的元素，用++=可以向集合当中添加具体的集合(List或者Array)。3、简述List中的map、flatMap、foreach、filter的具体用法1>map就是对集合中的所有元素执行一个具体的函数...
2018-09-09 15:49:02
417
原创 spark中访问数据库多种方式（遇到坑）
问题描述：1在IDEA中使用scala语言在spark环境中访问postgres数据库，执行相应的sql语句，返回相应的结果. 自身在访问数据库中遇到了很多的坑，就尝试多种方式，如下：1.方式一（使用sparkSession方式）：Properties connectionProperties = new Properties();//增加数据库的用户名(user)密码(...
2018-09-07 23:13:53
1928
kafka+flume+kafka中问题.pdf
2019-07-12
aws-general.pdf
2019-07-12
Spark基本原理与设计思想
2018-10-20
下一代消息中间件--pulsar
2018-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人