wangjunji34478的专栏

原创 Hadoop 文档官方版本 （1）

apache hadoop 3.2.1Apache Hadoop 3.2.1在以前的主要发行版本（hadoop-3.2）上进行了许多重大改进。该版本普遍可用（GA），这意味着它代表了我们认为已经可以投入生产的API稳定性和质量。总览鼓励用户阅读全套发行说明。此页面概述了主要更改。YARN中的节点属性支持节点属性有助于根据节点的属性在节点上标记多个标签，并支持基于这些标签的表达来放置容器。YARN上的HadoopSubmarineHadoop Submarine使数据工程师可以在..

原创 Hadoop 文档官方版本（0）

目前：大家玩大数据一般都是从 cdh或 hdp开始玩的，从集成环境好处多多，但是真正要掌握集群环境。手动整一把是必须的。本栏将从hadoop的官方文档开始为大家剖析hadoop ,及一个hadoop平台管理员应该掌握什么东西做一一解析。hadoop 的官方文档主要包括以下内容：总览-----------------------------------------------------------------------单节点设置集群设置命令参考文件系统外壳兼容性要求下游开发...

原创 重要资料收集

http://www.sic.gov.cn/Column/572/0.htm

原创 大数据生态圈

原创 Flink学习指南

Flink好的学习资源https://github.com/flink-china/flink-training-course

转载 Hbase 的rowkey的 设计

Rowkey就是行键，hbase是nosql数据库，即然是数据库，最多就是增删改查。RowKey的字典序（byte order）排序存储，设计rowkey时，要充分利用排序存储的这个特性，将经常一起读取的行存储在一起。rowkey从字面意思看行键的意思，hbase可以理解为一个nosql数据库，那么日常最多的就是增删改查。其实在增删改查的过程中rowkey就充当了主键的作用，它和众多的nosql数据库一样，可以唯一的标识一行记录。roweky行键可以是任意字符串，在hbase内部，rowkey保存为字.

原创 EasyExcel学习资源

https://www.yuque.com/easyexcel/docgithub:示例https://github.com/alibaba/easyexcel

原创 redis 5.0五大数据类型的操作命令

目前：还没有redis 5.0的windows版本Set Key valueGet KeyDEL key1 key2 key3 (To delete a key).EXISTS key1 key2 (To check a key exist or not).TTL key (To check time to live).EXPIRE key 10(in seconds).PTT...

原创 数据库与中间间

数据库为证用户能够7×24小时不间断的访问数据，提供了读写分离集群管理系统，支持读写分离集群，支持主节点发生故障能实现自动切换。数据库需支持事务管理、支持多种负载均衡，支持jdbc和odbc接口标准。中间件为电子政务提供支持可靠，稳定的基础支撑环境，支持从开发到生产的整个应用生命周期，并能够集成多种主流应用框架。中间件支持Java EE5.0/6.0/7.0系列规范，支持分布式事务处理，支持...

转载 四大国产数据库?你了解用过吗

一般公司的项目一般都是用Oracle、Mysql、SQL Server等一些国外的数据库。前段时间公司做了一个国家政府保密单位的项目,别人要求用国产数据库,所以研究了下,最后决定用神舟通用的,其实国产也有好几家做数据库做的还不错,下边简单总结了下,以供参考1:南大通用 公司简介 天津南大通用数据技术有限公司（以下简称南大通用）是专注于数据库领域，国内领...

原创 idea快速查找快捷键

1、Ctrl+N按名字搜索类相当于eclipse的ctrl+shift+R，输入类名可以定位到这个类文件，就像idea在其它的搜索部分的表现一样，搜索类名也能对你所要搜索的内容多个部分进行匹配，而且如果能匹配的自己写的类，优先匹配自己写的类，甚至不是自己写的类也能搜索。2、Ctrl+Shift+N按文件名搜索文件同搜索类类似，只不过可以匹配所有类型的文件了。3、Ctrl+H查看...

原创 hadoop书对应关系

https://www.doc88.com/p-7136380068799.htmlhttps://github.com/Apress/practical-hadoop-security

原创 报表设计器入门

在介绍了Pentaho Reporting并概述了两万英尺的内容之后，在本章中，您将开始一个实际的动手练习，第一次学习如何运行Pentaho Report Designer。此外，您将以一些初始数据为例，开始创建具有首选布局的报告的第一步。您将首先建立一个用于生成报告的环境。从那里开始，您将逐步了解用户界面的一些初始详细信息，例如菜单，工具栏，报告元素调色板，报告画布选项卡面板，报告资源管理器...

原创 报告分析工具创建完美的分析报告

目录前言本书涵盖的内容这本书需要什么这本书是给谁的约定读者反馈客户支持下载示例代码下载本书的彩色图像勘误海盗行为问题1. Pentaho报告简介介绍Pentaho报告引入Pentaho报告工具用户类型和所需知识技术优势商业友好的开源许可证Pentaho Reporting的典型用途运营报告商业智能报告财务报告生产报告Pentaho报告历史记...

原创 Spark graphx

graphx介绍弹性分布式属性图graphx图存储原理分区（partition）策略集合视图：图视图---图数据进行分区，进行分析图计算的优势基于内存实现了数据的复用与快速读取统一了图视图和表视图能与Spark框架上的组件无缝集成graphx图存储原理边分割点分割图计算使用的是点分割分式存储图graphx分区策略random...

原创 Learning Spark sql :目录

目录前言本书涵盖的内容这本书需要什么这本书是给谁的约定读者反馈客户支持下载示例代码下载本书的彩色图像勘误海盗行为问题1. Spark SQL入门什么是Spark SQL？介绍SparkSession了解Spark SQL概念了解弹性分布式数据集（RDD）了解数据框和数据集了解Catalyst优化器了解Catalyst优化了解Catalyst转化...

原创 spring secutiry oauth2.0认证制授权 --Spring secuity快速上手

Spring Security快速上手1Spring Security介绍Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架，由于它是spring生态系统的一员，因此它伴随着整个spring生态系统不断修正，升级，在springboot项目中加入spring security更是十分简单，使用spring security...

原创 spring secutiry oauth2.0认证制授权 --基于session的认证流程

1.1认证流程基于Session认证方式的流程，用户认证成功后，在服务端生成用户相关的数据保存在session(当前会话)，而发给客户端。基于Session的认证机制由servlet规范定制，servlet容器已实现，用户通过httpsession的操作方法即可实现，如下是httpsession相关的api方法 含义 HttpSessiongetSession(Boolea...

原创 Mastering Spark for Data Science：输入格式和架构

本章的目的是演示如何将数据从其原始格式加载到不同的模式，从而使各种不同类型的下游分析能够在同一数据上运行。 在编写分析甚至更好地构建可重用软件的库时，通常必须使用固定输入类型的接口。 因此，根据目的，灵活地在模式之间转换数据的方式可以带来可观的下游价值，既可以扩展可能的分析类型，又可以重新使用现有代码。我们的主要目标是学习Spark随附的数据格式功能，尽管我们还将通过引入行之有效的方法来深入研...

原创 Mastering Spark for Data Science：数据集成

作为数据科学家，最重要的任务之一就是将数据加载到数据科学平台中。 本章将说明如何构建Spark中的常规数据提取管道，该管道可作为跨许多输入数据的可重用组件，而不是使用不受控制的临时过程。 我们将逐步进行配置，并演示如何在各种运行条件下提供重要的Feed管理信息。读者将学习如何构造内容寄存器，并使用它来跟踪加载到系统的所有输入并在摄取管道上传递度量，以便可以可靠地将这些流作为自动的熄灯过程运行。...

原创 Mastering Spark for Data Science：通过spark进行数据科学

Spark对数据科学世界的影响令人震惊。 自从Spark 1.0发布至今还不到3年，但Spark已经被公认是任何大数据架构的全能内核。 大约在此期间，我们在巴克莱银行采用了Spark作为我们的核心技术，这被认为是一个大胆的举动。 现在可以肯定，Spark是任何大数据科学项目的起点。第1章，大数据科学生态系统，本章介绍了通过大规模数据获得成功的方法和随附的生态系统。它着重于将在后面的章节中使用的...

原创 spring secutiry oauth2.0认证制授权

1.基本概念1.1什么是认证进入移动互联网时代，大家每天都在刷手机，常用的软件有微信，支付宝，头条等，下面拿微信来举例子来说明认证相关的基本概念，在初次使用微信前需要注册成为微信用户，然后输入账号和密码即可登录微信，输入账号和密码登陆的过程就是认证。系统为什么需要认证？认证是为了保护系统隐私数据和资源，用户的身份合法方可访问该系统的资源。认证：用户认证就是判断用户的身份是否合...

原创 Oath2.0 cookbook--使用Spring Security保护您的Web应用程序 (1)

在本章中，我们将介绍以下食谱：使用授权码授予类型保护资源 支持隐式授予类型 使用“资源所有者密码凭证”授予类型作为OAuth 2.0迁移的方法 配置客户端凭据授予类型 添加对刷新令牌的支持 使用关系数据库存储令牌和客户详细信息 使用Redis作为令牌存储 实施客户注册 在中间打破OAuth 2.0提供程序 使用Gatling使用共享数据库对令牌验证过程进行负载测试介绍...

原创 Oath2.0 cookbook--使用Spring Security保护您的Web应用程序

前言OAuth 2.0是用于授权的标准协议，它专注于简化客户端开发人员的工作，同时为Web应用程序，桌面应用程序，移动电话等提供特定的授权流程。 给定OAuth规范可用的文档，您可能会认为它很复杂。 但是，本书承诺通过简单食谱中的示例来帮助您开始使用OAuth 2.0。 它着重于通过有趣的配方为各种应用程序提供特定的授权流。 它还提供了有用的食谱，可用于使用Spring Security解决实...

原创 Apache Spark 2.x Machine Learning Cookbook(3) Spark的三种用于机器学习的数据火枪手-完美结合

在本章中，我们将介绍以下内容：使用内部数据源通过Spark 2.0创建RDD使用外部数据源通过Spark 2.0创建RDD使用filter() API使用Spark 2.0转换RDD使用超级有用的flatMap() API转换RDD使用set的操作API转换RDD使用groupBy()和reduceByKey()进行RDD转换/聚合使用zip()API转换RDD使...

原创 Apache Spark 2.x Machine Learning Cookbook(2) ---使用spark学习线性代数

在本章中，我们将介绍以下内容：包导入和向量和矩阵的初始设置使用Spark 2.0创建DenseVector并进行设置使用Spark 2.0创建SparseVector并进行设置使用Spark 2.0创建DenseMatrix并进行设置在Spark 2.0中使用稀疏局部矩阵使用Spark 2.0执行矢量算术使用Spark 2.0执行矩阵算术Spark 2.0 ML库中的分布式矩阵在...

原创 Apache Spark 2.x Machine Learning Cookbook(2)

第一章：使用Scala使用Spark进行实用的机器学习在本章中，我们将介绍：下载并安装JDK下载并安装IntelliJ下载并安装Spark配置IntelliJ以使用Spark并运行Spark ML示例代码从Spark运行示例ML代码识别用于实际机器学习的数据源使用带有IntelliJ IDE的Apache Spark 2.0运行您的第一个程序如何将图形添加到Spark程序介...

原创 Apache Spark 2.x Machine Learning Cookbook(1)

第1章：使用Scala使用Spark进行实用的机器学习第2章：足够的线性代数用于Spark机器学习第3章：Spark的三个机器学习数据火枪手-一起完美第4章：实施强大的机器学习系统的常用食谱第5章：Spark 2.0中具有回归和分类功能的实用机器学习-第一部分第6章：Spark 2.0中具有回归和分类功能的实用机器学习-第二部分第7章：可随Spark扩展的推荐引擎第8章...

原创 spark mllib cookbook

在火花中创建神经网络在pyspark中创建一个数据框在pyspark数据框中处理列将pyspark转换为数据帧到数组可视化散点图中的数组设置权重和偏差以输入到神经网络归一化神经网络的输入数据验证数组以优化神经网络性能设置S型激活功能创建S型导数函数在神经网络中计算成本函数根据身高和体重预测性别可视化预测分数卷积神经网络的痛点介绍痛点：导入mnist图像痛点：可视化...

原创 Java基础知识中的遗传算法

第1章简介什么是人工智能生物学类比进化计算的历史生物进化生物进化的一个例子基本术语条款搜索空间健身风景局部最优参数变异率人口规模交叉率遗传表征终止搜索过程...

原创 scala cookbook第3章：控制语句

第3章：控制语句

原创 Scala cookbook 第一章 字符串

字符串，为了和前面创链接

原创 Scala cookbook 总章

主要内容： 第1章：字符串 第2章：数字 第3章：控制语句 第4章：类和配置 第5章：方法 第6章： 类 第7章： 包和导入 第8章： 特质 第9章： 函数式编程 第10章：集合 第11章：list,array,map，set 第12章：文件和进程 ...

原创 Spring 内容详解

支持非配置的ioc <context:spring-configured /> 支持注解的配置 <context:annotation-config /> 类加载期织入 <context:load-time-weaver />aop.xml。这个文件要求放在META-INF/aop.xml路径下，以告知A...

原创 grub恢复操作系统

在Linux有可能存在/boot分区被修改或者配置文件丢失，导致无法正常启动系统。这时候就需要使用grub2的命令模式手动启动系统或者iso文件进行修复。第一步：使用grub2进行启动第二步：grub> ls -l （通过ls -l 来一个分区找对应的内核启动文件）grub> insmod xfsgrub> set root=(hd0,msdos1) （这里...

原创 全文检索技术--Lunce

1 课程计划1、什么是全文检索，如何实现全文检索2、Lucence实现全文检索的流程 1)创建索引 2）查询索引3、配置开发环境4、入门程序5、分析器的分析过程 1）测试分析器的分词效果 2）第三方中文分析器6、索引库维护 1）添加文档 2）删除文档 3）修改文档7、索引库查询 使用query子类查询...

原创 等保测评相关文档

等级保护1.0信息安全技术信息系统安全等级保护基本要(GBT_22239—2008)等级保护2.0GBT28448-2019信息安全技术网络安全等级保护测评要求https://www.doc88.com/p-2476140943730.html等级保护2.0GBT25070-2019信息安全技术网络安全等级保护安全设计技术要求...

转载 转载好文：浅谈移动端设备标识码：DeviceID、IMEI、IDFA、UDID和UUID

【心路历程】最近刚好在思考工作中统计数据所用的标识码产生的数据误差到底有多大，借此机会几番搜索资料+请教大神，整理出此文。因为自己是产品经理，所以出发点是整理知识点、理解个大概、知道什么不能用、什么标识是靠谱的，并不研究太深入。毕竟非专业开发，有时候若了解知识点太深入，反倒会更困惑（关联知识点太多）。即使研究清楚了，工作中碰到和自己研究相悖的情况，也不好丢个文档告诉开发应该怎么做（除非很熟，...

原创 shiro

apache shiro就java的安全权限框架shiro可以非常容易的开发出足够好的应用，其不仅可用在java se环境，也可以用在java ee环境shiro可以完成，认证，授权，加密，会话管理，与web集成，缓存等 spring scurity下载地址：http://shiro.apache.orgsession management管Session ，即可以用java e...

原创 企业级hadoop管理（1）

第一部分：介绍hadoop集群架构此部分共分为如下两部分：第一章：介绍hadoop及其环境介始欢迎来到管理hadoop的课程。hadoop在处理大数据处于领先地,被称为大数据hadoop。hadoop是一个开源的项目，大约在2005年推出。hadoop已成为使用并行处理算法和简单数据处理模型来处理大量数据的事实上的标准，这些模型是高效计算和可靠计算体系结构的基础。Hadoop的设计...