自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

愷风(Wei)的专栏

使用工具、了解工具、创造工具……

原创 我的技术博客索引

我的JAVA相关文章我的Clutter相关博客我的网络通信相关文章我的Linux相关文章我的与kernel module有关的文章我的嵌入式Linux相关文章我的MeeGo/Moblin相关文章我的Andriod开发相关文章我的与编程思想相关的文章我的无限网络文章我的产业生态链和杂谈文章我的四方书库生活空间为五斗饭相关文章天南地北相关

2009-09-12 22:47:00 12518 12

原创 RSA算法和证明

1977 年由罗纳德·李维斯特(Ron Rivest)、阿迪·萨莫尔(Adi Shamir)和伦纳德·阿德曼 (Leonard Adleman)一起提出,因此名为 RSA 算法。RSA 算法中公私钥的产生1 随机选择两个不相等的质数 p 和 q p = 11, q = 29 2 计算 p 和 q 的乘积 n(明文小于 n) n = p× q = 11 * 29 ...

2019-11-08 20:00:15 192

原创 中台的“酒”瓶

酒瓶和水中台的概念在今年突然很火,持续地火。产品不蹭一下中台的热点,自己都觉得不好意思。于是乎,看到了高矮肥瘦的各式各样的瓶子,都说是中台的酒瓶,里面有新瓶装旧酒的,更多的是装些果汁,矿泉水,不少的直接装自来水,甚至只装空气。只要不打开看,放在架子上,装扮得五光十色,十分喜庆。需求是第一导向中台是个概念,是个名词,尚无权威定义,本文也不打算讨论何为中台。下定义的人多了,但被认可要靠权威...

2019-10-19 12:11:32 190

原创 【杂谈】国密2 vs 国密4,关公战秦琼

项目最近有人反映过来,说那谁谁谁说现在不要用国密2,过时了,要用国密4,反正就是看不上国密2之类云云。国密1、国密2、国密3、国密4,当中的1,2,3,4并不是安全等级,可能只是个先后顺序。 国密1是对称加密算法,类比我们常用的AEC。 国密2采用的是椭圆曲线,可以用于签名,协商密钥。很多证书的签名就是采用ECDSA,互联网上常用的协商密钥机制位RAS,椭圆算法的ECDH于此类...

2019-10-16 14:57:06 558

原创 【杂谈】对代码的一些建议:从单模块到多模块

对于产品,一般来讲,从单模块,到负载均衡的多模块,最后到有服务治理的规模化集群(例如微服务),逐步发展和演进。本文并不打算涉及框架或者架构,也不讲什么大道理,仅从代码编写的角度,看看开发人员需要注意什么。单模块开发的一些注意事项单模块并不是指单体方式,根据功能进行模块划分,每个模块在生产环境中是单模块运行(主备方式)。单模块阶段开发人员仍是有要求,在我的实践中,从code review看,...

2019-05-16 17:21:08 265

原创 【杂谈】学习一直在路上

博客已经有一段时间没有更新。江湖依旧在,心态有些懈怠,需要收拾心情,我要好好看风景。工作近来相对轻松,也就有了更多学习的时间。虽然博客停更了一段时间,但是在我自己的mediawiki上仍在耕耘,只是大多是付费课程的笔记,放在网上就不厚道,不亦乐乎之后,博客也就暂时放下。推荐一下极客时间,都是一些资深的大牛,讲的东西系统、清晰,很多前沿技术,发展很快,版本迭代快,没有什么经典书籍,需要频繁在...

2019-04-21 17:17:23 311

原创 Java for Web学习笔记(一四二)Spring security准备(3)初窥

了解Spring Security的基本知识完全J2EE的web container也能提供完整的安全框架,但tomcat不是。Spring Security可以使用JDBC,或者我们的服务或仓库来认证用户,也提供了内置的对微软Active Derectory,Jasig的CAS(Central Authentication Service),JAAS(Java Authentication ...

2018-09-27 11:45:34 316

原创 Java for Web学习笔记(一四一)Spring security准备(2)授权

访问的范围和权限属于授权。Principals和Identities就Java而言,很方便利用java.security.Principal。Principal至少会包含已被认证的用户identity,例如用户名,还可能有其他信息。此外还可以保护用户的授权信息,这些信息的表述应采用常量,例如枚举或者有限的字符串,否者过多的授权会对内存有影响,进而影响性能。Roles,Groups,Ac...

2018-09-27 11:44:15 311

原创 Java for Web学习笔记(一四十)Spring security准备(1)认证

匿名认证匿名认证有多种方式:不是通过你的ID进行认证,例如通过HTTP的session ID,实际是认证你曾经访问。 作为其他认证缺失的情况:,例如可以匿名登录论坛进行浏览。当让如果要做更多的事情,通常需要进行身份认证。密码认证密码认证古来有之。有密码和反密码,例如空降兵密码为flash,地面部队为thunder,避免抢先问密码,导致密码泄漏。这有点类似https在使用前,用户先检...

2018-09-27 11:39:54 309

原创 Java for Web学习笔记(一三九)篇外之数据库的ACID和JPA(3)隔离性

SQL中的Isolation实验SQL语句案例:-- SELECT @@session.tx_isolation; 查看当前的isolationSET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;-- SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;-- SE...

2018-09-27 11:24:56 207

原创 Java for Web学习笔记(一三八)篇外之数据库的ACID和JPA(2)JPA

在测试中,我们发现在一个JPA事务中:Spring Data的写SQL是在最后commit前发出,这最大程度地缩短了写操作和commit之间的时间。 对相同的ID的读,JPA只从数据库中读取一次。 从数据库中获取entity,修改entity的数据,即使最后没有执行save,在commit之前,发送update。下面是其中一个测试小例子:@Transactionalpublic ...

2018-09-27 11:15:07 203

原创 Java for Web学习笔记(一三七)篇外之数据库的ACID和JPA(1)原子性

ACID大家都听过,看似也了解,但是在实际的项目中,发现不是所有人都正确理解。所以想谈一下当中容易忽略或者错误理解的地方。现在的开发语言和开发工具都很丰富,如果这要一一了解,也真是耗不起,但是有些是工具,知道怎么用就行,有些是基础知识,需要掌握。ACID就是基础知识,只有真正了解,才能在代码中进行合适的选择,特别是在异常处理和并发处理。在这个小系列中,基于下面的表格CREATE TABL...

2018-09-27 11:08:14 215

原创 Java for Web学习笔记(一三六)映射(12)还谈FetchType.LAZY

说明在前面的学习中(见Java for Web学习笔记(一二七)映射(3)OneToOne),加上fetch = FetchType.LAZY的属性是集合或者Map。反映在SQL中,就是读取其他表格的信息(无论是通过join还是什么)。例如前面学习的@OneToMany、@ElementCollection。就单个表格而言,一次读取所有的列的数据,实际上在MySQL中,即使我们只是SELECT...

2018-08-24 16:23:03 1070

原创 Java for Web学习笔记(一三五)映射(11)代码触发器

说明数据库是有触发器Trigger。但我们希望业务逻辑能从底层的具体数据存储抽象出来(有需要时可以更好存储机制),也就是要在应用中编写trigger,而不是依赖底层数据库来实现。Entity内部触发器我们随便挑选以前的某个entity,在里面加入触发器。@Entitypublic class Person { ... ... // 【触发器说明】 //1...

2018-08-15 16:49:15 989

原创 Java for Web学习笔记(一三四)映射(10)@SecondaryTables

说明@SecondaryTables在实际中很少使用。相当于是将一个entity的基础属性(不是collection)拆分到不同表中存放。这在表格设计中是不合理的。常用于遗留数据库,以及表格列太多查出数据库供应商的限制。和OneToOne不同,没有使用外键进行表格关联,而是两个表的主键代表同样含义。小例子数据库表格CREATE TABLE Employee ( Employe...

2018-08-09 17:12:10 650

原创 Java for Web学习笔记(一三三)映射(9)中文输入

这个小例子中,我们已经:整个项目在eclipse中指定采用UTF-8 在web.xml中对jsp的配置已经设置了<page-encoding>UTF-8</page-encoding> 在jsp文件中,已经给出了<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">但是我们...

2018-08-08 15:55:50 249

原创 Java for Web学习笔记(一三二)映射(8)@ElementCollection

说明在前面我们学习了OneToOne、OneToMany、ManyToOne,将数据库中不同表格的关联转换为spring中不同entity的关联。但是在不少场景中,我们希望在一个entity的视图中同查看到这几个表的信息,而无需通过entity之间的关联。在这个小例子中,我们还将学习和讨论到:表格有Employee,Employee_Address中存放员工多个地址,Employee_...

2018-08-08 15:52:33 5587 1

原创 Java for Web学习笔记(一三一)映射(7)entity的抽象和继承

Mapped superclass我们通过@javax.persistence.MappedSuperclass定义一个Mapped superclass,定义表格的通用属性,提供给Entity继承。它和Entity的属性映射是一样,但需注意:entity可以重写@Column。类标记为 @AttributeOverride或@AttributeOverrides,在里面给出需要overr...

2018-08-03 17:25:11 704

原创 Java for Web学习笔记(一三十)映射(6)@Version

@VersionJPA可以将entity的某个属性(只允许一个)标记为@javax.persistence.Version。这个属性可以是整形和java.sql.Timestamp。如果是整形,Version从0开始,每次update,每次自动+1;如果是Timestamp,就是每次更新为now()。如果数据没有实际变化,version不会变更。小例子代码CREATE TABLE...

2018-08-02 14:38:05 609

原创 Java for Web学习笔记(一二九)映射(5)ManyToMany

ManyToMany需要中间表格。小例子一本书可以有N个作者,一个作者可以有N本书。CREATE TABLE `Book` ( `Id` bigint(20) unsigned NOT NULL AUTO_INCREMENT PRIMARY KEY, `BookName` varchar(50) COLLATE utf8_unicode_ci NOT NULL) ENG...

2018-08-01 11:37:21 446 1

原创 Java for Web学习笔记(一二八)映射(4)OneToMany和ManyToOne

OneToMany和ManyToOne是更为常见的例子。如果A和B的关系是OneToMany,则B和A的关系就是ManyToOne。小例子我们继续前面书的例子,增加书评表。一本书可以有多条书评,一条书评对应一本书。CREATE TABLE Book ( Id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, Book...

2018-07-31 14:17:54 534

原创 Java for Web学习笔记(一二七)映射(3)OneToOne

OneToOneEntityA和EntityB是一对一的关联关系。这在实际中较少使用到。如果某个Entity具有上百个属性,我们可能会将某些属性分别放入子entity中另外存放。有点似列式数据库(如HBase)。用于属性很多,属性可以归类,很可能会有新增属性的情况。小例子CREATE TABLE Book ( Id BIGINT UNSIGNED NOT NULL AUTO_...

2018-07-30 11:52:32 427

原创 【ML】Python准备篇(3)安装pip

Linux安装 $ sudo apt-get install python3-pigWindows版本Python下载安装有两种方式:下载zip文件,解压即用。 下载installer,进行安装。一般而言,我们喜欢第一种方式,就是绿色安装。但是这种方式,我试了很久,手动安装pip只能试用与3.5版本或之前的。而3.6和之后的3.7需要通过installer进行安装。≤ 3...

2018-07-27 10:55:05 588

原创 【ML】Python准备篇(2)Sublime环境

下载相关介质从Sublime官网下载zip文件,在windows中解压即可。 在Python下载zip文件,在windows解压即可。Sublime上允许安装package control【方式一】 在Tools下面有一个Install Package Control,点击即可【方式二】菜单View -> Show Console,将下面的内容贴入到console中,按回...

2018-07-27 10:46:15 308

原创 【ML】Python准备篇(1)Anaconda环境安装

我们将在Ubuntu Server上安装Anaconda,并在其他机器上通过web来使用。下载和安装上https://www.anaconda.com/download/网站进行下载#【下载】download相应的安装介质$ wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh# 【安装】 ...

2018-07-27 10:05:44 523

原创 Java for Web学习笔记(一二六)映射(2):自定义类作为Entity属性

说明在之前的学习中,表格的一列对应Entity的一个属性。数据库表格的列都是比较简单的类型,由此也限制了属性也只能是简单的类型。本文将学习利用@Embeddable 实现多个类映射到复杂类型。多个列映射到类数据表格结构:CREATE TABLE `Person` ( `PersonId` bigint(20) unsigned NOT NULL AUTO_INCREMENT,...

2018-07-18 17:37:45 899 1

原创 Java for Web学习笔记(一二五)映射(1):再谈converter

我们在《Java for Web学习笔记(一零八):再谈Entity映射(1)数据转换》中已经给出了通过转换器将数据库列的信息和指定类属性进行转换的例子。原生JDBC的时间日期转换JDBC的版本我们原来使用的mysql-connector-java-5.1.x支持多个JDBC的版本,我们可以通过下面的原生jdbc代码来检查当前使用的版本:try(Connection conn...

2018-07-17 16:26:47 2187

原创 【分布式】hadoop安装篇(11)CDH安装中的问题:swappiness

现象在运行的过程中,即使我们看到host的内存仍富有余量,但是健康检查亮橙灯,会有Swapping Concerning的提示,例如6 pages were swapped to disk in the previous 15 minute(s). Warning threshold: any.其实在安装过程中的自检中,也看到有关的wa...

2018-06-28 09:40:18 717

原创 【分布式】hadoop安装篇(10)在Ubuntu中使用CDH安装hadoop集群(下)

安装和配置cluster11)进入集群配置我们将在wei001,wei002和wei003中安装hadoop,hase,spark作为我们后续学习的基础。相应地选择了HDFS,YARN,Zookeeper,oozie,hive,hue,HBASE,Spark。2)配置数据库在mysql中新增数据库 hive, ozzie和hue,分别提供给hive,oozie和hue组件。create datab...

2018-06-21 15:54:53 681

原创 【分布式】hadoop安装篇(9)在Ubuntu中使用CDH安装hadoop集群(中)

安装CDH1)启动server服务在wei001中执行:sudo service cloudera-scm-server start此时我们进入数据库,可以看到scm里面有表格的创建。这个部署需要花费点时间,我们可以跟踪log文件(/var/log/cloudera-scm-server/cloudera-scm-server.log)我们也可以打开浏览器,输入 http://191.8.2.93...

2018-06-21 15:42:30 326

原创 【分布式】hadoop安装篇(8)在Ubuntu中使用CDH安装hadoop集群(上)

安装拓扑我们将采用parcel的安装方式,如果采用手动命令行安装,可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022-432b-9203-666bbaa1b2cb.1.html安装参考:https://www.clou...

2018-06-21 15:19:51 665

原创 【分布式】hadoop安装篇(7)Hadoop 3的伪分布模式安装

准备$ sudo apt-get install ssh$ sudo apt-get install pdsh我们还需要设置pdsh的rcmd,执行下面内容。或创建/etc/pdsh/rcmd_default,里面填入sshecho "ssh" > /etc/pdsh/rcmd_default如果这步骤不设置,我们在启动hdfs时,可能会报告gsta@gsta005:~/wei/hadoo...

2018-06-21 14:28:13 2388 1

原创 【分布式】hadoop安装篇(6)Java API的验证

Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.0</version></dependency>

2018-06-21 14:18:09 201

原创 【分布式】hadoop安装篇(5)验证和一些命令

在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。验证【在NDFS中创建目录,用于执行MapReduce jobs。】$ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。$ hdfs dfs -mkdir /user/...

2018-06-21 14:06:05 541

原创 【分布式】hadoop安装篇(4)Hadoop 2.x的伪分布模式安装

Hadoop伪分布模式,是在一个单机上模拟Hadoop分布式环境,需要安装的包括: HDFS:包括NameNode和DataNode Yarn:是运行mapReducede容器,包括ResourceManager和NodeManager准备$ sudo apt-get install ssh 【已经安装了openssh,可以使用ssh,无需再次安装】$ sudo apt-get install...

2018-06-21 11:39:03 189

原创 【分布式】hadoop安装篇(3)安装准备和Standalone安装

下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r3.1.0/hadoop-project-...

2018-06-21 11:07:51 333

原创 【分布式】hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下)

web图形方式安装VirtualBoxweb方式利用phpVirtualbox,只支持到5.0版本。也可以强制使用5.2版本,web会提示版本不兼容,能够使用,但不要通过web上的远程连接,而是使用windows自带的远程桌面。1)加上virtualbox的源,前面已经介绍,不再重复2)安装5.0版本$ sudo apt-get install virtualbox-5.03)安装扩展包# 查看...

2018-06-21 10:44:51 215

原创 我的分布式学习博文

【hadoop安装篇】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上) 2018.6.20 hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下) 2018.6.21 hadoop安装篇(3)安装准备和Standalone安装 2018.6.21 hadoop安装篇(4)Hadoop 2.x的伪分布模式安装...

2018-06-21 09:10:54 268

原创 【分布式】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上)

安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装(开发环境)以及通过CDH进行的集群安装(生产环境)。这些都在阿土16.04 server的环境。集群安装需要多台机器,作为实验用,我们采用虚机的方式。在windows上或者desktop的linux上都很容易使用virtualbox,有图形操作。而安装虚机的过程,也需要界面的。Ubunt...

2018-06-20 16:58:02 353

原创 Java for Web学习笔记(一二四):搜索(6)Lucene和Hibernate search

LuceneLucene是很强大的检索工具,Hibernate Search将lucene core和JPA/Hibernate ORM结合起来,当我们通过JPA添加或者修改数据时,自动在Lucene中index了entity,在检索时采用lucene core搜索引起进行搜索,并返回JPA对象实体。<dependency> <groupId>org.hibern...

2018-05-29 16:59:58 461 1

提示
确定要删除当前文章?
取消 删除