vivian_ll-CSDN博客

原创 python解析并修改xml文件

使用labelImg标注图片后需要统一修改图片label的名称和图片名，所以用python批量修改图片名和xml文件。首先批量复制并修改图片名称：# -*- coding: utf-8 -*-# 将二级目录下的图片/标签文件重命名到同一个新文件夹下import os, shutildef batchRenameFile(srcDirName, destDirName): # s...

2018-06-15 20:28:28 5475 1

原创多机上启动多组织（4org）的fabric网络

启动命令与过程与官方2org的相似，但由于组织增至了4个，所以无法用官方提供的scripts/scripts.sh脚本一键启动网络，具体分步操作如下：一、初始化fabric环境1.1 启动Fabric环境的容器首先来启动orderer节点，在orderer服务器上运行：docker-compose -f docker-compose-orderer.yaml up –d...

2018-06-06 17:47:55 1537

本部署基于e2e_cli官方例程，即4Peer+1Orderer的多节点架构，5台主机分别是orderer.example.com、peer0.org1.example.com、peer0.org2.example.com、peer0.org3.example.com、peer0.org4.example.com。可以首先确保官方提供的2个org，每个组织两个peer的多节点例子能够跑通，具体...

2018-06-06 16:32:42 2240

原创 ubuntu server显示并输入中文

安装英文版ubuntu，需要输入含中文字符的命令，所以要给Ubuntu Server装中文环境。首先将 etc/default/locale 文件的内容修改为 LANG=”zh_CN.UTF8” LANGUAGE=”zh_CN:zh”重启后即可显示中文字符。如果想恢复英文的默认编码，再将配置内容修改为 LANG=”en_US.UTF-8″ LANGUAGE=”en_...

2018-05-23 11:33:13 7883 3

原创 fabirc链码开发及在开发模式下的调试

一前言Fabric Chaincode是智能合约在Fabric上的实现方式，是与Fabric区块链交互的唯一渠道，也是生成Transaction的唯一来源。开发语言：go、java 本文中选用go Fabric节点运行模式有两种：一般模式 Chaincode运行在docker容器里，这种方式开发调试过程非常繁杂：部署—调试—修改—创建docker镜像—部署—···开发模式 ...

2018-05-16 17:16:39 3268 1

原创 fabric1.0多机部署e2e_cli示例及相关错误(三台主机)

一、准备工作1.1环境准备：首先要安装好go、docker、docker compose等。具体请参考前文Hyperledger Fabric V1.0 在Ubuntu16.04+中的环境搭建1.2单机运行4+1 Fabric实例，确保脚本和镜像正常：然后需要确保每台机子上e2e__cli的单机环境能跑起来。进入e2e_cli文件夹，运行./network_se...

2018-04-25 15:51:57 3772 1

原创 fabric部署中常用linux及docker命令和知识点汇总

docker命令：docker kill $(docker ps -q) 停止所有正在运行的容器 docker rm $(docker ps --all -q -f status=exited) 删除所有已经停止的容器 docker rmi $(docker images -q)删除所有镜像 docker rmi $(docker images | grep "none" | awk ...

2018-04-16 20:59:40 964

原创 fabric部署e2e_cli单节点和first-network示例及相关错误

一、下载docker镜像e2e_cli示例里有下载docker镜像的脚本download-dockerimages.sh，直接运行即可。进入到e2e-cli路径中cd opt/gopath/src/github.com/hyperledger/fabric/examples/e2e_cli/source download-dockerimages.sh -c x86_64-1.0...

2018-04-16 20:44:09 9719 2

原创 fabric-samples的basic-network实现hyperledger网络部署和调用

使用官方提供的fabric-samples提供的配置和链码示例，调用和查询链码，最小化地体验超级账本的环境。一、下载docker镜像超级账本源码scripts目录下有多个下载镜像的脚本，我们可以修改权限以后直接运行：#进入fabric/scripts目录chmod +x bootstrap-1.0.0.shsed -i ' ' 's/curl/#curl/g' bootstrap-1.0.0.s

2018-04-16 16:21:33 1561

原创 Hyperledger Fabric V1.0 在Ubuntu16.04+中的环境搭建

一、准备所需工具：Ubuntu、git、pip、go、docker、docker-compose windows用户可以下载一个VirtualBox，在VirtualBox中装Ubuntu虚拟机。需注意网络设置时NAT模式和桥接模式的不同。（建议启用root用户来安装后续工具软件。）二、安装git后续需要用git从GitHub中下载hyperledger的源码。$ a...

2018-03-30 11:26:21 820

原创区块链中的加密算法（待补充）

参考网址：椭圆曲线密码学相关概念与开源实现椭圆曲线密码学简介

2018-03-16 00:00:36 1019

原创区块链中的共识算法

在对等网络结构的区块链系统中，每个运行的节点都各自保存自己的数据副本，如何保证彼此之间的数据统一，使网络中产生的数据让大家都能认可，以及确保分布式系统的一致性，这时就需要共识算法来实现。共识算法解决的是对某个提案（proposal），大家达成一致意见的过程。常见算法针对非拜占庭错误的情况，一般包括Paxos、Raft及其变种。对于要能容忍拜占庭错误的情况，一般包括PBFT系列、PoW系列算法等。

2018-03-15 23:55:30 946

原创文本数据的简单分类与聚类（待补充）

聚类：基于LDA的Kmeans 参考文献：基于LDA的改进K_means算法在文本聚类中的应用_王春龙分类：改进的KNN 参考文献：基于K-Medoids聚类的改进KNN文本分类算法 http://www.cnblogs.com/190260995xixi/p/5954921.html http://blog.sina.com.cn/s/blog_5fc375650100jde...

2018-03-12 21:55:25 1137

原创区块链学习笔记

一、什么是区块链区块链是一种特殊的分布式数据库。区块链的主要作用是储存信息，可以写入和读取，因此是数据库。区块链技术会自动创建和维护一个分布式的网络。其特殊在于任何人都可以架设服务器，加入区块链网络，成为一个节点。区块链的世界里面，没有中心节点，每个节点都是平等的，都保存着整个数据库，是去中心化的。你可以向任何一个节点，写入/读取数据，因为所有节点最后都会同步，保证区块链一致。而区块链之前的

2018-03-10 18:37:02 529

原创 python读取带数字的文章路径出现\xef\xbb\xbf…的问题

用python读取txt文件，文件的内容包含一列数如下： F:\RenYongguo\cats\3\3.jpg F:\RenYongguo\cats\3\4.jpg F:\RenYongguo\cats\3\5.jpg …但是运行时报错，读取的文件路径为 IOError: [Errno 22] invalid mode (‘wb’) or filename:‘F:\Ren

2018-01-09 17:13:19 3669

原创 python爬虫（以国家烟草网新闻为例）

国家烟草专卖局的网址是：http://www.tobacco.gov.cn/html/ 要爬取的内容为各省级局的新闻。大部分的省的新闻页url都是有规律的，比如贵州省的是 http://www.tobacco.gov.cn/html/36/3617/361704_i.html 这个i就是页数。但有些省的新闻页url在翻页后是不变的，比如江西省，从第一页到最后一页一直都是http://jx

2018-01-08 17:10:51 1510

原创有监督的多类标注（SML）的原理及matlab实现

注：本文基于北邮Web搜索课程大作业。作业题目为：任选某类图像为训练样本，编程实现其基于SML算法的类模型。有监督的多类标注（Supervised Multiclass Labeling,SML）是一种结合有监督的二类标注和无监督的多类标注优点的图像文本标注算法。一、基本原理其总体方案为：将图像简单地表示为各局部特征向量的“口袋”式集合，以此估计每幅图像的混合概率密度（GMM）。将

2018-01-08 16:34:44 7243 8

原创 Fast and Provably Good Seedings for k-Means阅读笔记

相关基础K-Means及其改进经典的K-Means是最常用的一种聚类算法。k-Means聚类算法可以对数据点或一些不知道标签但总类别数（比如总共有K个类别）比较明确的一些观测值进行聚类。其目的是使用一些相似性度量（比如欧式距离）来将数据聚集到K个类别。这种算法通常被称为Lloyd算法，该算法的核心包括需要找出每个类别的聚类中心，使得同一个类别中的数据点到聚类中心的距离最小。1. 基本原理k-mean

2017-12-18 12:05:24 2383 1

原创使用EM算法估计GMM参数的原理及matlab实现

相关数学概念协方差矩阵多维高斯分布其中k=n，即x的维度。GMM的原理GMM，高斯混合模型，是一种聚类算法。 1.GMM概念： -将k个高斯模型混合在一起，每个点出现的概率是几个高斯混合的结果。 -每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数。假设有K个高斯分布，

2017-12-13 16:24:23 26595 9

原创关于python2和3版本不同引发的urllib报错及引出的字符串问题

在python2里有urllib和urllib2两个库，但是在python3里urllib2库没有了，因此代码从2移植到3会报一些错误。代码如下：#!/usr/bin/env python# -*- coding:UTF-8 -*-import urllibimport urllib2import jsondeviceID="0000000666"apikey = "a7e72c97-3

2017-12-12 20:17:31 1747

转载（转）机器学习实战第三章——决策树(源码解析)

转载自：http://blog.csdn.net/quincuntial/article/details/50477508 创建树#coding=utf-8 ''''' Created on 2016年1月5日 @author: ltc ''' from math import log import operator from ScrolledText import exam

2017-11-28 10:52:28 644

原创 python中的sorted、iteritems和operator.itemgetter

最近在看《机器学习实战》，在学到第三章递归构建决策树时看到以下代码：def majorityCnt(classList): classCount = {} for vote in classList: if vote not in classCount.keys():classCount[vote] = 0 classCount[vote] += 1

2017-11-27 19:07:09 4319

原创隐马尔可夫模型

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列（state sequence);每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence)。序列的每一个位置又可以看作是一个时刻。HMM是马尔可夫链的一个扩展

2017-11-27 17:07:30 1094

原创解决过拟合的方式（二）：早停

另⼀种控制⽹络的复杂度的正则化⽅法是早停⽌（ early stopping ）。对于许多⽤于⽹络训练的最优化算法（例如共轭梯度法），误差函数是⼀个关于迭代次数的不增函数。然⽽，在独⽴数据（通常被称为验证集）上测量的误差，通常⾸先减⼩，接下来由于模型开始过拟合⽽逐渐增⼤（详见Ng机器学习视频）。于是，训练过程可以在误差最⼩的点停⽌，这样可以得到⼀个有着较好泛化性能的⽹络。如下图：通过限制迭

2017-11-20 14:17:36 3085

原创解决过拟合的方式（一）：正则化

一、过拟合监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。过拟合问题是指过于完美拟合了训练集

2017-11-20 11:32:03 21624

原创 RBF径向基网络

一、径向基函数径向基函数是某种沿径向对称的标量函数，通常定义为样本到数据中心之间径向距离（通常是欧氏距离）的单调函数（由于距离是径向同性的）。RBF核是一种常用的核函数。它是支持向量机分类中最为常用的核函数。常用的高斯径向基函数形如：其中，可以看做两个特征向量之间的平方欧几里得距离。x’为核函数中心，是一个自由参数，是函数的宽度参数 , 控制了函数的径向作用范围。。一种等价但更为简单的定义是

2017-11-20 10:09:48 5380

原创机器学习中的各种损失/误差函数

一、均方误差二、三、四、损失函数和激活函数的组合 1.均方差损失函数+Sigmoid激活函数（不推荐）对于Sigmoid，当z的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)也越来越小。同样的，当z的取值越来越小时，也有这个问题。仅仅在z取值为0附近时，导数σ′(z)的取值较大。在反向传播算法中，每一层向前递推都要乘以σ′(z),得到梯度变化值。Sigmoi

2017-11-10 17:49:49 3759

原创神经网络中的各种激活函数

一、激活函数简介1.激活函数的作用如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。不一定是step function，可以是其他形式的非线性函数。使用激活函数的目的是给神经元引入非线性因素，从而使神经网络能够解决线性不可分的问题，比如最简单的异或。Hornik证明，只需一个包含足够多的神经元的

2017-11-10 10:26:20 17915 1

原创解决过拟合的方法

一、正则化保留所有的特征，但是减少参数的大小（ magnitude）二、降维丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）

2017-11-09 21:43:19 608

转载范数与距离的关系以及在机器学习中的应用

1 范数向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。常用的向量的范数：L1范数: ||x|| 为x向量各个元素绝对值之和。L2范数: ||x||为x向量各

2017-11-07 11:21:53 200

转载线性回归、逻辑回归、各种回归的比较

转载自：http://blog.csdn.net/viewcode/article/details/8794401回归问题的条件/前提：1）收集的数据2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设特征和结果都满足线性。即不大于一次方。这个是针对收集的数据而言。收集的数据中，每一个分量，就

2017-11-07 10:46:50 3960

原创 VSM及SMO算法小结

支持向量机通俗导论（理解SVM的三层境界）支持向量机(SVM)（五）– SMO算法详解参考文献：李航《统计学习方法》疑问：SMO的未经剪辑的a2的解那块有个公式的推导一直没推出来。

2017-11-03 10:16:09 286

原创朴素贝叶斯算法原理小结

粘贴一个博客，写的太好了，讲解得通俗易懂。朴素贝叶斯算法原理小结

2017-10-25 20:29:04 1046

原创数据结构与算法分析——第三章表、栈和队列1

3.1 抽象数据类型抽象数据类型（ADT）：一些操作的集合理解：数学的抽象；模块化设计；没有实际的数据，只是一种结构，一种对于数据储存的思想。 3.2 表ADT 定义：空表、后继、前驱操作：PrintList、MakeEmpty、Find、FindKth、Insert、Delete（Find是返回关键字首次出现的位置，FindKth是返回某个位置上的元素） 3.2.1 表的简单数组

2017-10-24 11:49:28 474

原创 win10下usb rndis驱动配置

win10下usb rndis驱动会默认识别为com口，需要手动更新驱动。先下载kindle_rndis.inf_amd64-v1.0.0.1，然后以管理员身份运行第五个cmd文件，然后在设备管理器里的USB串口识别出的COM口处双击，在计算机中查找驱动程序，即下载解压后的那个文件夹，然后网络适配器中就有RNDIS驱动了。参考网址：https://www.mobileread.com/for

2017-10-17 16:09:56 18893 2

转载最大似然估计（MLE）和最大后验概率（MAP）

转载自：最大似然估计（MLE）和最大后验概率（MAP）最大似然估计：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。最

2017-10-12 16:47:47 291

转载机器学习中的范数规则化之（一）L0、L1与L2范数

转载自：http://blog.csdn.net/zouxy09/article/details/24971995机器学习中的范数规则化之（一）L0、L1与L2范数[email protected]://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参

2017-10-12 16:27:07 244

转载漫谈：机器学习中距离和相似性度量方法

转载自：[漫谈：机器学习中距离和相似性度量方法](http://www.cnblogs.com/daniel-D/p/3244718.html) 在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般

2017-10-12 16:03:44 249

原创 mySQL数据库相关操作

一、基本操作登录： mysql -uroot -p123456 导入sql文件： ssh < F:\xx项目\ssh框架\ssh.sql 查看数据库： show databases; (注意分号）连接数据库： use <数据库名> 查看表： show tables; (注意分号）退出： quit或者exit 二、创建数据库并插入数据新建数据库：CREATE D

2017-10-12 16:02:07 231

原创 springMVC学习笔记

一、关键技术AOP（Aspect Oriented Program，面向切面编程）在运行时，动态地将代码切入到类的指定方法、指定位置上的编程思想就是面向切面的编程。我们知道，面向对象的特点是继承、多态和封装。而封装就要求将功能分散到不同的对象中去，这在软件设计中往往称为职责分配。实际上也就是说，让不同的类设计不同的方法。这样代码就分散到一个个的类中去了。这样做的好处是降低了代码的复杂程度，

2017-10-11 15:24:27 331