大数据平台应用
NEU_LightBulb
人工智障,深度学渣
展开
-
【大数据平台】——Docker+Conda3+Tensorflow1.15+Google模型+远程Jupyter
基于Docker的远程TensorFlow的Jupyter环境搭建本文所解决的是大部分Docker的远程TensorFlow环境的搭建,都是围绕着Tensorflow这个镜像运作的,这个镜像的好处是安装简单,大体步骤就是“Nvidia/CUDA >> Nvidia-Docker2 >> Tensorflow-xx-xx-...”。缺点是:---没有Anacon...原创 2020-01-15 15:01:56 · 924 阅读 · 4 评论 -
【区块链】——区块链学习初探(四)
联盟链中的共识机制上一篇中介绍了基于法院业务的区块链样例,使用的是比特币链式的结构,但在实际法院这种政府机关使用的区块链中,使用的不是比特币链这种公有链,而是更符合政府网络架构(机关内部网)的联盟链或私有链。更多是联盟链,联盟链中组织与组织的关系很好地还原了各个内部网的关系。上一篇中介绍的“未输出交易(UTxO)”模式与计算特定难度Hash的“工作量证明(PoW)”这些共识机制在联盟链中是...原创 2019-12-10 18:51:59 · 297 阅读 · 0 评论 -
【大数据平台】——基于Confluent的Kafka Rest API探索(五)
介绍 在Confluent的schema注册中心Schema Registry注册,在生产或者消费时使用。本质作用是规定消息的Key和Value的结构和格式,就像为Topic指定一个表结构,随后的消息都和表结构一致。在发送时并不会因为你指定Schema就可以省去结构中的字段名,比如指定Value结构 {{name:string},{count:int}},并不是在发送的records里...原创 2019-12-10 11:03:31 · 398 阅读 · 0 评论 -
【大数据平台】——基于Confluent的Kafka Rest API探索(四)
Kafka RestAPI 指定分区 Kafka消息分区规则 这里我们戳进KafkaProducer的send方法@Override public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) { // intercep...原创 2019-12-05 22:28:05 · 648 阅读 · 0 评论 -
【大数据平台】——基于Confluent的Kafka Rest API探索(三)
Kafka RestAPI性能测试 Rest与Java Client配置 测试服务器是CentOS 7- 16核,测试代码与Confluent在同一台机器上,使用相同的配置并使用了HttpClientPool: KEY_SERIALIZER_CLASS_CONFIG org.apache.kafka.common.serialization.S...原创 2019-12-05 22:11:27 · 330 阅读 · 0 评论 -
【大数据平台】——基于Confluent的Kafka Rest API探索(二)
Kafka Rest Proxy特点与使用 Metadata 可以使用对相应URL的GET请求读取有关群集的大多数Metadata 信息,如:brokers, topics, partitions, configs等。 Producers 区别于Java Client,Kafka-rest不会对外公开Producer对象,而是通过一个Producers Pool来...原创 2019-12-05 22:02:18 · 984 阅读 · 0 评论 -
【大数据平台】——基于Confluent的Kafka Rest API探索(一)
Confluent安装 本文主要对(时至2019/12/3)最新的 Confluent-5.3.1的单节点安装做说明,并使用 Confluent-5.3.1集成的Kafka-2.3。 下载并解压 官网下载2.confluent-5.3.1-2.12.tar.gz,上传服务器并解压,解压后的目录作为< CONLUENT_HOME >。 添加到环境变量 添加CO...原创 2019-12-05 21:43:50 · 781 阅读 · 0 评论 -
【大数据组件学习笔记】Pipeline DB机制及参数解释(二)
通过源码(src/config.c)我们可以得到每一个参数的简要描述、默认值、取值范围(官网文档没有取值范围)。再结合官网文档和源码中使用的典型位置,分析参数作用【源码部分逐步更新】num_workers默认:1范围:1~1024解释:设置为每一个database分配的并行连续查询的Worker进程数量,设置的越大,吞吐量越大,直到受到CPU限制。num_combiner...原创 2019-10-22 01:37:25 · 398 阅读 · 0 评论 -
【大数据组件学习笔记】Pipeline DB机制及参数解释(一)
这是一个学习笔记,欢迎指正、交流一、Pipeline DB到底安装了什么 Pipeline DB(以下简称PDB)作为Postgre SQL的一个扩展插件,到底安装了什么。通过PDB 的Git开源代码 GitHub,在bin目录和根目录的执行文件中可以找到如下操作: 载入C定义的stream_fdw_handler方法:CREATE OR REPLAC...原创 2019-10-21 18:01:56 · 616 阅读 · 0 评论 -
【大数据组件学习笔记】——Win10 Hadoop2.7.1+Spark2.2.0+Scala2.11.11 环境搭建与测试
Win10 Hadoop2.7.1+Spark2.2.0+Scala2.11.11 环境搭建与测试一、文件准备1.apache-maven-3.2.5.zip说明:用于构建Maven项目链接:https://pan.baidu.com/s/1t3o3d-20dC7rUrV3fQSPPA bdvy2.spark-2.2.0-bin-hadoop2.7.tgz...原创 2019-03-13 21:44:52 · 1437 阅读 · 0 评论 -
【大数据组件学习笔记】—— 集群管理与Hadoop环境搭建
原创 2018-06-13 16:43:42 · 166 阅读 · 0 评论 -
【大数据组件学习笔记】—— 一台 PC 与 三台虚拟机 (2)
原创 2018-06-12 16:43:37 · 229 阅读 · 0 评论 -
【大数据组件学习笔记】—— 一台 PC 与 三台虚拟机
搜索:虚拟机集群、虚拟机网络设置、虚拟机互ping、虚拟机能上网原创 2018-06-11 17:07:48 · 562 阅读 · 0 评论 -
【手撸IoT大数据平台】——整体构想
简介在物联网中的智能家居目前已经有了广泛使用,但当下的“智能”多只的是在人性化和用户体验上做到了让用户感觉更高大上,少有的则采用在物联网中控机设备(gateway)中置入“决策算法”来让硬件通过简单的感知实现简单的改变,让用户感觉硬件变得聪明。然而,在大数据蓬勃发展的今天,高大上的“多模式”硬件已不再称为“智能”,本地或联系服务器采取决策的“聪明”也变成了小聪明。硬件无疑为大数据提供了很好的数据来...原创 2018-03-16 00:16:22 · 968 阅读 · 0 评论