w1992wishes的博客

使用 Zookeeper 管理 Kafka offset，利用 SparkStreaming 进行流处理。完整代码示例。

spark 并行加载 greenplum 数据，为正确运行，需引入 spark 相关包和 greenplum 驱动。 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> org.apache.spark spark-core_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> org.apache.spark spark-sql_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --> com.pivotal greenplum-jdbc 5.1.4

jcuda DBSCAN运行步骤： 1. 首先服务器需要有NVIDIA显卡，因为CUDA是NVIDIA专用； 2. 需要安装CUDA驱动程序和工具包，可从 [NVIDIA CUDA下载网站](http://developer.nvidia.com/cuda-toolkit-archive)获取; 3. 安装了CUDA驱动程序和工具包之后，就可以运行示例代码了： 4. 将lib包下的JCuda-All-0.8.0-bin-linux-x86_64.zip包解压，里面包含了jcuda程序依赖的jar包和动态链接库； 5. 将根据需求编写的内核代码getNeighbors.cu，通过"nvcc -ptx getNeighbors.cu -o getNeighbors.ptx"类似的命令将内核代码进行编译； 6. 然后javac -Djava.ext.dirs="JCuda-All-0.8.0-bin-linux-x86_64" CudaGdbscan.java和javac -Djava.ext.dirs="JCuda-All-0.8.0-bin-linux-x86_64" Test.java分别编译； 7. 最后运行java -Djava.ext.dirs="JCuda-All-0.8.0-bin-linux-x86_64" Test

java版的DBSCAN聚类算法实现，是典型的算法思路实现，遍历未访问的所有点，如果是核心点，就新建一个簇，然后遍历其邻域内的所有点集A，不断扩展，如果簇内的点时核心点，就将其邻域所有点纳入点集A，并从点集移除已访问的点，循环下去，直到所有的点都被访问。

很简短的一段代码，相信都能看懂，用的是 window.name.很简短的一段代码，相信都能看懂，用的是 window.name.