- 博客(6)
- 资源 (2)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 大数据Spark结合图数据库Neo4j设计架构
Introduce 大数据分布式技术结合图库Neo4J项目，由于Neo4j采用单节点，性能存在以下问题：. 插入速率随着图库数据增加而减少，成反比相关。 . 对前端页面查询点边关系，测试一条数据耗时10s以上。 所以重新设计架构，采用分布式中间件来取代单节点式Neo4j部分功能。经测试，几套架构尚可满足Spark离线处理和实时计算需求。 Coding Introd...
2019-02-24 15:46:44
2450
原创 SparkStreaming调优总结：
原文链接：https://blog.csdn.net/qq_26803795/article/details/81772265spark参数调优需要对各个参数充分理解，没有一套可以借鉴的参数，因为每个集群规模都不一样，只有理解了参数的用途，调试出符合自己业务场景集群环境，并且能在扩大集群、业务的情况下，能够跟着修改参数才算是正确的参数调优。本系列文章仅为个人理解与观点，如果任何地方有疑问与...
2019-02-19 22:51:46
488
转载 kafka数据可靠性深度解读
转载博客：https://blog.csdn.net/u013256816/article/details/710917741 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集...
2019-02-19 21:20:11
246
1
原创 常用排序算法：选择排序与冒泡排序
一、选择排序选择排序是最简单直观的一种算法，基本思想为每一趟从待排序的数据元素中选择最小（或最大）的一个元素作为首元素，直到所有元素排完为止，简单选择排序是不稳定排序。在算法实现时，每一趟确定最小元素的时候会通过不断地比较交换来使得首位置为当前最小，交换是个比较耗时的操作。其实我们很容易发现，在还未完全确定当前最小元素之前，这些交换都是无意义的。我们可以通过设置一个变量min，每一次比较仅...
2019-02-11 15:07:13
992
2
原创 常用排序算法：归并排序与快速排序
一、归并排序归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)可以看到这种结构很像一棵完全二叉树，本文的归并排序我们采用递归去实现（也可采用迭代的方式去实现）。分阶段可以...
2019-02-11 15:05:16
406
2
flink-connector-adbpg-1.11.1-jar-with-dependencies_beta_0623v2.jar
2021-07-06
项目在服务器上跑时出现报错问题 javax.xml.parsers
2017-11-10
Maven项目出现报错：the type is not generic
2017-11-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人