- 博客(37)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Fabric-ca: server init函数——initEnrollmentSigner
enroll: 登记register: 注册登记签名人初始化逻辑// Initialize the enrollment signererr = ca.initEnrollmentSigner()主要方法ca.enrollSigner, err = util.BccspBackedSigner(c.CA.Certfile, c.CA.Keyfile, policy, ca.csp)BccspBackedSigner方法func BccspBackedSigner.
2021-03-26 16:42:20
186
原创 Fabric-ca: server init函数——initDB
init函数中的数据库初始化操作逻辑err = ca.initDB(ca.server.dbMetrics)1 定义数据库文件if dbCfg.Datasource == "" { dbCfg.Datasource = "fabric-ca-server.db"}2021/03/26 16:01:03 [DEBUG] Initializing 'sqlite3' database at 'K:\fabric\fabric-ca-master\lib\rootDir\fabric-c
2021-03-26 16:28:06
223
1
原创 Fabric-ca: server init函数——initKeyMaterial
生成CA证书的逻辑过程：先看一个caconfig的属性CSR结构体，CSRInfo 是证书签名请求信息，这个属性和证书生成由强烈关系// CSRInfo is Certificate Signing Request (CSR) Informationtype CSRInfo struct { CN string `json:"CN"` Names []csr.Name `json:"names,omitempty"` Hosts
2021-03-26 15:58:22
234
原创 Fabric-ca: server init函数——获取bccsp
1 生成BCCSP实例初始化此CA的加密层(BCCSP)ca.csp, err = util.InitBCCSP(&ca.Config.CSP, "", ca.HomeDir)方法代码// InitBCCSP initializes BCCSPfunc InitBCCSP(optsPtr **factory.FactoryOpts, mspDir, homeDir string) (bccsp.BCCSP, error) { err := ConfigureBCCSP(o
2021-03-26 15:29:19
139
原创 fabric-bccsp-sign实例
fabric bccsp的sign 到底是什么含义？ 做了什么操作？按照下面的代码进行验证func TestEcdsaSignerSign(t *testing.T) { t.Parallel() signer := &ecdsaSigner{} verifierPrivateKey := &ecdsaPrivateKeyVerifier{} verifierPublicKey := &ecdsaPublicKeyKeyVerifier{} // Generate
2021-03-16 10:46:43
183
原创 Fabric-CA-001: Fabric-CA基本介绍
Fabric-CA-001：Fabric-CA基本介绍先附上一份通用的fabric网络配置文件：version: '2'networks: fabric-ca:services: ca-tls: container_name: ca-tls image: hyperledger/fabric-ca:latest command: sh -c 'fabric-ca-server start -d -b tls-ca-admin:tls-ca-adminpw -
2020-12-25 17:37:42
479
原创 Fabric-商业票据项目说明
商业票据项目PaperNet networkPaperNet是一个商业票据网络，允许适当授权的参与者发行、交易、赎回和评级商业票据。PaperNet 商业票据网络: 6个机构参与, 行为有 发行, 购买, 出售,赎回,评级.MagentoCorp发行和赎回商业票据。 DigiBank、BigFund、BrokerHouse和HedgeMatic都相互进行商业票据交易。 RateM为商业票据提供各种风险度量。参与者介绍MagnetoCorp是一家备受尊敬的无人驾...
2020-11-23 23:06:21
2402
4
原创 Flink 状态和检查点
Flink 状态和检查点1 状态Keyed state必须使用在keyed DataStream上.可以使用keyBy操作，定义一个KeyedStream.keyBy[K: TypeInformation](fun: T => K): KeyedStream[T, K]按照Java:// some ordinary POJOpublic class WC { public String word; public int count; public Stri.
2020-11-20 14:08:51
381
原创 Tensorflow Fine-Tuning 的一些说明
一般训练好的模型可以直接拿来用，或者再原来的基础上增加新的layer。http://tflearn.org/getting_started/#fine-tuning 现在以代码说明:cifar_10.py# -*- coding: utf-8 -*-""" Convolutional network applied to CIFAR-10 dataset classification task.
2017-12-11 10:06:42
1653
转载 AdaBoost 简单的demo
AdaBoost Demo 上面的是针对单个特征，也就是说如果按照单个特征进行Adaboost，则可以得出三个弱分类器组成的强分类器；如果是多个特征，就需要遍历每一个特征，类似于一个特征时的计算过程。
2017-09-21 14:42:51
256
原创 Yarn核心——RPC(3) YarnRPC
hadoop 1.0中RPC的序列化机制是WritableRpcEngine，Yarn RPC采用ProtocolBuffer。(1) 类型结构 (2) 定义RPC协议package com.jackniu.yarnrpc.pb.api;public interface Calculate { int add(int num1, int num2); int minus(int
2017-09-02 01:24:58
603
原创 Yarn核心——RPC(2) Hadoop RPC
Hadoop RPC 四步法 (1) 定义协议(2) 实现协议(3) 定义服务端(4) 定义客户端(1) 定义协议public interface MethodProtocol extends VersionedProtocol{ public static final long versionID=1L; int calculate(int v1,int v2) throws
2017-09-01 11:27:42
210
原创 Yarn核心——RPC(1) 动态代理
RPC的动态代理实现(1) 定义协议public interface Person { void walk(); void sayHello();}(2) 实现协议public class MyInvocationHandler implements InvocationHandler { /* * 执行动态代理对象的所有方法时，都会被替换成执行如下的invoke
2017-09-01 11:25:05
200
原创 Yarn核心——Protobuf
Yarn将Protobuf用在RPC通信中，基于Protobuf的方式进行通信。Yarn RPC中的所有参数都采用Protocol Buffer进行序列化和反序列化，体积小，速度快。(1)Proto文件 student.protopackage tutorial;option java_package="com.jackniu.hadoop_yarn.com.proto";option java
2017-09-01 10:42:42
554
1
原创 Scala保留字
- 占位符，使用在import，函数字面量中: 分割标识符和类型注解= 赋值=> 在函数字面量中分隔参数列表和函数体<- 在for循环中的生成表达式<: 在参数化类型和抽象类型声明中，用于限制允许的类型<% 在参数化类型和抽象类型的view bound中>: 在参数化类型和抽象类型中，用于限制允许的类型# 在类型注入中使用@ 注解apply[R <: Close
2017-08-23 13:32:25
272
原创 Scan 读取数据按照时区
// 增量读取逻辑: 今天22号，程序getTodayZeroTime()返回的是22 00:00:00, 也就是说程序在今天运行，如果在明天运行就是23号的 // 如果让其读取前一天的数据: 23号运行 private static Long[] getTodayZeroTime() { Long[] timezone =new Long[2];
2017-08-22 15:40:29
253
原创 word2vec
word2vec demo: 里面的具体的解释还得后面分析#encoding:utf-8#@Time : 2017/8/18 11:48#@Author : JackNiu# 引入 word2vecfrom gensim.models import word2vec# 引入日志配置import logginglogging.basicConfig(format='%(asctime)s :
2017-08-18 13:17:17
477
原创 TF-IDF解释及应用
TF: 该词在某篇文档中出现的频率，TF(w,d),值越大，表明该词在文档中的重要性越高IDF: 单词普遍性的度量，如果该值越小，则该词认为非常普遍，如果该值很大，则认为该词在其他文档中很少出现，可以用该词来进行分类。TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。应用: (1) 搜索引擎在搜索引
2017-08-18 09:46:39
729
原创 Ice系列--IceGrid Node
绝大多数的分布式系统都有一个共同特点，分布在各个主机上的节点进程并不是完全独立的，彼此之间有相互联系和通信，集群对集群中的节点有一些控制指令，如部署，停止，或者调整参数等。IceGrid为了达到这一目标，设计了IceGrid Node。负责IceBox的装载和启停采集主机的负载信息执行控制器IceGrid Admin的指令IceGrid Node类似于一个容器，启动以后，会安装预先定义的配置文
2017-08-17 16:45:27
824
原创 Ice系列--Ice Registry(1)
上一篇提到IceBox没有地方存储服务的Endpoints信息。为了解决这个问题，诞生了服务注册表Registry组件，是一个以二进制文件形式存储运行期Ice服务注册信息的独立进程，支持主从同步，从节点可以分担查询请求，类似MySql读写分离的功能，以防止单点故障，同时依托registry的功能，Zeroc设计实现了Service Locator服务组件，它是一个标准的Ice Object服务对象，
2017-08-17 15:27:08
329
原创 Ice系列--IceBox(2)
上一篇单纯的分析了一个ice服务OnlineBook，这里分析多个ice服务并进行一些服务之间的分析。增加一个发送短信的服务，SMSService(1) 定义slice文件module message{interface SMSService{ void sendMSg(string msg); };};(2) SMSServiceImpl 代码package com.smsic
2017-08-17 14:22:06
420
原创 Ice系列--IceBox(1)
上一篇开发一个简单的HelloIce，利用Ice的API开发一个服务并将它启动起来，就像在J2EE中开发一个Servlet一样，目前在项目中，很少使用Servlet，直接用上层封装好的一些MVC框架，如SpringMVC、Struts2等来减少编码工作量并提升开发速度。IceBox则是等价于框架，可以只关注于业务代码的开发，而对于配置文件、服务启动、日志等程序必备的非业务相关的功能都已经实现。Ice
2017-08-17 13:21:44
674
原创 Ice系列——HelloIce
HelloIce: 开发环境Zeroc3.5.1，Eclipse (1) 定义slice文件 hello.icemodule demo{ interface HelloIce{ string hello(); }; };Eclipse 自动生成转换后的Java文件。(2) 服务实现 Implpackage com.demo.ice;import Ice.Curren
2017-08-17 12:46:43
464
原创 决策树
4.3 分治法：创建决策树 我们使用的纯度量度称为信息量（information），量度单位是bit。纯度量度与树的一个节点相关联，代表了一个期望信息总量，用于说明到达这个节点的新实例将被分到yes还是no类所需的信息总量。 a节点上yes和no的实例数量分别是[2,3],[4,0][3,2],这些节点上的信息值为 info([2,3])=0.971位 info([4,0])=0.0位
2017-05-25 13:46:15
278
原创 RapidMiner系列：Affinity-Based Marketing（亲和营销基础）
介绍银行提供一种新的金融产品：确定的费用和有趣的利率。当这种产品被投放市场，有的人会查看这种新的产品，大多数人是不会查看的。银行的市场部门为了提高业绩想发送这种新产品的邮件给没有查看这个产品的用户。但是不必在那些不会买这个产品的用户群浪费精力，他们想只关注对该产品有较高的喜爱度的20%的用户群。 一种简单的方法： Cross-Industry Standard Process for data m
2017-05-25 13:43:41
701
原创 RapidMiner系列：朴素贝叶斯NB_2
RM-NB-2数据集nursery DataSet，12960条样本，没有缺失http://archive.ics.uci.edu/ml/databases/Nursery属性9个属性（包括label）parents(poly): usual ,pretentious,great_prethas_nur(ploy): proer,less_proper,improper,cretical,very
2017-05-17 23:46:39
1436
原创 RapidMiner系列：朴素贝叶斯NB_1
RP-NB-1数据集Credit Approval DataSet 690条样本，有缺失值http://archive.ics.uci.edu/ml/machine-learning-databases/credit-screening/属性16个属性(包括label属性)，A1 (binominal) {b,a}A2 (real) {real values}A3 (real)
2017-05-17 11:24:40
2715
转载 决策树，随机森林
这部分的内容都是在网上搜索的信息论中关于熵、信息增益的定义http://www.cnblogs.com/wangbogong/p/3590070.html随机树的解释http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html所有的计算过程都是按照类别（叶子节点）的计算。
2017-01-19 09:33:38
204
原创 Lua 协同程序coroutine 数据交换说明
主要数目coroutine的 resume 和yield 的数据交换。 以下面的代码为讲解： function foo (a) print("foo 函数输出", a) return coroutine.yield(2 * a) -- 返回 2*a 的值end co = coroutine.create(function (a , b) prin
2017-01-12 11:36:11
312
原创 close() called when transaction is OPEN 一般思路
自定义flume sink 操作的时候，往往可能报这样的错close() called when transaction is OPEN ， close() called when transaction is begin（） 等，什么原因造成的？？？我也说不清楚，一般是在sink的transaction开始时，处理获取的event，但是没有处理完，又有新的Transacti
2016-12-08 14:06:34
2150
原创 logstash+Elasticsearch-1.4.4+kibana-3.1.2 安装出现的问题
安装过程不说了，具体启动不说了，你能看到这里说明有问题了。 http.cors.enabled: true http.cors.allow-origin to the correct protocol, hostname, and port (if not 80) that your access Kibana from. Note that if you are runnin
2016-11-30 16:05:04
317
原创 HBase 客户端通过Java访问集群
Hive有客户端，HBase也有客户端咯hBase如何通过客户端连接呢？ 简单的程序帮助你连接你的Hbase，很简单，很实用。public class App { private static HBaseAdmin admin = null; public static Configuration configuration; public App() throws Maste
2016-11-28 17:08:39
3134
原创 hive0.13.1 和Hive 1.2.1 的一些小区别
0.13.1 和1.2.1 的区别（1） 可以完全使用hivesever1 ，按照0.8.x前面的版本配置启动（2） 按照1.2.1 的写法，需要对hive0.13.1 的hive-site.xml进行设置 hive.server2.thrift.bind.host 192.168.222.131 Bind host on which to run the Hi
2016-11-28 15:23:38
2491
原创 mongodb insert time mongo插入时间解决方案
为什么需要这个，你们在网mongo中插入数据的时候已经知道了 8小时insert({"Time":new Date().getFullYear()+"-"+(new Date().getMonth()+1)+"-"+new Date().getDate()+ " "+new Date().toLocaleTimeString()})
2016-11-25 12:46:50
10694
原创 python hive-1.2.1 pyhs2 ； python 连接hive
各位老大，最近忙吗？？？ 最近在做hive的一些东东，用的是1.2.1版本的。 先用java实现hive-jdbc，连接成功，也可以运行，具体的过程再不写了，贴一点代码，关于hive1.2.1 和0.x.x 版本的不同。private static String driverName = "org.apache.hive.jdbc.HiveDriver"; public static voi
2016-11-24 16:48:42
7557
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人