ice泉-CSDN博客

原创超级账本子项目 iroha 私链部署

安装 ==尽量采用高版本的Ubuntu内核版本或GCC版本==依赖包下载 iroha git clone -b https://github.com/hyperledger/iroha 环境配置sudo apt-get install build-essential python-software-properties automake libtool \li...

2018-04-02 12:04:06 1424

原创 restful api 文档定义工具

apidoc installNodejs 安装下载Windows Installer (.msi) 版本的进行安装Nodejs 全局变量设置在安装目录下创建 node_global 和 node_cache 文件夹npm config set prefix "C:\Program Files\nodejs\node_global"npm config set cache

2018-01-05 12:28:03 2941 1

原创 Python 使用 Boto3 API 创建 EMR 集群

EMR 指南Amazon EMR[PDF]Amazon EMR - 开发人员指南 - Amazon.com使用API创建EMRPython依赖包安装pip install boto3API参考EMR集群主要采用 boto3 EMR.Client.run_job_flow api 进行集群创建，详细描述参考官网文档。样例代码# -*- encoding:utf8 -*-""" autho

2017-12-04 11:27:37 2361 1

原创 Spark Standalone Mode 在 Win10 下搭建开发调试环境

系统环境变量配置Java Env略，确保在cmd终端可以运行javaC:\windows\system32>java -versionjava version "1.8.0_131"Java(TM) SE Runtime Environment (build 1.8.0_131-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11,

2017-11-17 13:20:14 900

原创 Spark 读取CSV 解析单元格多行数值问题

CSV 样例数据[hadoop@ip-10-0-52-52 ~]$ cat test.csv id,name,address1,zhang san,china shanghai2,li si,"chinabeijing"3,tom,china shanghaiSpark 2.2 以下版本读取 CSV 会存在读取异常问题scala> val df1 = spark.read.optio

2017-11-14 18:06:57 3483 2

原创【scala 笔记（9）】隐式转换和隐式参数-- implicit

隐式转换和隐式参数是Scala的两个功能强大的工具，在幕后处理那些很有价值的工作。隐式转换所谓隐式转换函数（implicit conversion function）指的是那种以implicit关键字声明的带有单个参数的函数。正如它的名称所表达的，这样的函数将被自动应用，将值从一种类型转换为另一种类型。class Fraction(private var x:Int, private

2017-10-26 18:46:31 606

原创编码问题 UnicodeDecodeError

编码问题是一件头疼的事情，当我们在处理网络数据流时。例如：在解析从文件中读取的字符串，想要将字符串统一编码为Unicode。经常会读到乱七八糟的字符串（其他国家的字符串编码）>>> line = 'Y\x02\xd9\xea\x16\xedt\x9a\x9cs\xa0\x9a\xd2\xe0\x94\t\xfd\xff\x17O\xafj\xc3\x04\xfe\x8e\x98\xf1\x9f

2017-10-20 17:16:47 1791

原创【scala 笔记（8）】特质 -- trait

特质（trait）是scala里代码复用的基础单元。特质封装了方法和字段的定义，并可以通过混入到类中复用它们。与类的继承时每个类都只能继承唯一的超类不同，类可以混入任意多个特质。当做接口使用的特质Scala的特质完全可以像Java的接口那样工作。例如：trait Logger{ def log(msg:String) // 抽象方法}class ConsoleLogger exten

2017-10-18 18:16:47 438

原创【scala 笔记（7）】 Scala 扩展类、匿名子类、抽象类、样例类、密封类

扩展类scala 扩展类的方式和Java一样，使用 extends 关键字，例如：class Person(val Name:String){ def show() = {println("person name: " + Name)}}class Student(name:String) extends Person(name){ private var id = 0 // 重写字段

2017-10-13 18:24:36 1452 1

原创【scala 笔记（6）】类（class）和对象（object）

熟悉JAVA/C++的人会发现Scala里的某些概念虽然相似，但却不完全相同。类 (class)简单类和方法定义简单类类形式和JAVA/C++很像：class Counter{ private var value: Int = 0 def increment(): Unit = value += 1 def count() :Int = value}在scala中并不需要申明publ

2017-10-13 18:23:13 696

原创【scala 笔记（5）】 Scala中的函数

scala 除了支持方法（方法是对object的操作，也就是java中定义的class的方法）外还支持函数的； C/C++、Python 也有函数，而在Java中我们只能通过静态方法来模拟。函数函数定义要定义一个函数，你要给出函数的名称、参数和函数体；例如：def fac(x:Int) = { var result = 1 for (i <- 1 to x) resul

2017-10-13 18:22:18 756

原创【scala 笔记（1）】基础

简介Scala是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。Scala 解释器启动Scala解释器的步骤如下： - 安装Scala （Linux 环境下先安装个Java环境，再去官网下载个scala Unix版本，解压即可） - 确保 scala/bin 目录位于系统PAT

2017-10-13 18:17:06 447

原创【scala 笔记（4）】控制结构 -- 自定义控制结构

scala 内置控制结构仅有 if 、 while、 for、 try 、match 几种，因为它提供了可以创建自己的控制抽象的能力；自定义控制结构 - using使用过 Python 的同学应该都知道上下文管理器，这有利于资源的释放，下面也将使用 Scala 实现个类似的文件读写上下文管理器控制结构object Test { def main(args: Array[String])

2017-10-10 16:15:25 427

原创【scala 笔记（3）】控制结构 -- 模式匹配

scala 有一个十分强大的模式匹配机制，可以应用在很多场合中， switch语句、类型查询，以及 “析构”（获取复杂表达式中的不同部分）。除此之外， scala 还提供了样例类，对模式匹配进行了优化。更好的switch类似 C 风格的switch语法，与default等效的是以 case _ 捕获所有情况，若未进行 case _ 处理，在未能进行匹配到的情况下会抛出 MatchEr

2017-10-10 16:14:19 454

原创【scala 笔记（2）】控制结构 -- 高级for循环和for推导式

scala for表达式是枚举操作的 “利器”，它可以让你用不同的方式把若干简单的成分组合起来表达各种各样的枚举。简单使用适合于通常的任务，例如枚举整数序列。高级表示可以同时枚举不同类型的多个集合，可以用任意条件过滤元素，还可以制造新的集合。枚举集合类例如实现一个1到3的Range序列遍历：scala> 1 to 3res7: scala.collection.immutable.Ran

2017-10-10 16:11:13 578

原创 python 并发编程

Python 并发编程概念首先我们先了解下关于并发与并行的概念，这很容易让人混淆如果不注意的话，甚至会有人认为两者是一样的，统称为大家熟悉的并发编程；引用下Erlang之父的解释：ConcurrentTwo queues and one coffee machine.ParallelTwo queues and two coffee machines.个人理解：

2017-09-27 18:55:31 438

原创 Jar 反编译保护

Jar 加密&解密JAR包反编译使用 JD-GUI 打开JAR包，就能获取JAR包的源码，这样如果对于想保护源码的开发者或厂商来说是一件烦恼的事情；JAR包反编译保护方案大概有以下几种： 1. 使用 ProGuard 工具进行代码混淆，但有点耐心的人还是能够分析出来的；【不做介绍】 2. 对class进行加密，再自定义ClassLoader进行解密，但自定义的ClassLoad

2017-09-27 15:03:59 1046

原创使用 C++11 让程序更简洁、更现代

使用 C++11 让程序更简洁、更现代阅读《深入应用C++11优化代码与工程应用》学习笔记初始化C++ 11 对象初始化// C++ 11 初始化 int i {1}; int i_arr[]{ 1, 2, 3, 4, 5 }; int * pint = new int{ 1 }; int * parr = new int[2]{ 1,2 }; st

2015-12-13 17:06:25 1538

原创微博自动登录

微博自动登录后先根据 redirect_uri 获取code 再根据code获取access_tokenpython 依赖安装包pip install requestspip install sinaweibopy'''微博应用信息'''APP_KEY = '***********'APP_SECRET = "**********

2015-12-09 10:58:27 1095

原创 centos CDH 离线安装步骤

参考Requirementshttp://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_reqts.html Cloudera Manager 5 Requirements andSupported Versionshttp://www.cloudera.co

2015-12-09 09:56:31 1399

比特币OP_RETURN元数据分析.pdf (英文版)

这篇报告名为《比特币OP_RETURN元数据分析》，主要研究了OP_RETURN元数据功能的应用。OP_RETURN于2014年正式推出，能够实现数据在区块链中的广播和记录，省略了计算的步骤，因此达到了节省时间和算力的目的。

2018-03-19

大数据编程基础（Scala、JVM、Hadoop、Spark）

大数据编程基础书籍：Scala 、JAVA、JVM、Netty权威、TCP-IP详解、hadoop、spark等书籍百度网盘地址（后续会有更新）

2017-11-07

快学Scala & Scala完整版 & 深入理解JVM 合集（带目录）

资源包含《快学Scala》，《Scala编程》，《深入理解JAVA虚拟机》和《阿里巴巴 Java编程规范》

2017-11-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人