自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 机器学习——基于协同过滤推荐系统

基于用户人口属性和行为数据设计的推荐算法,称为协同过滤算法。此方法主要根据用户的历史行为,寻找用户或物品的近邻集合,以此计算用户对物品的偏好,包括基于领域,图,关联规则,知识的推荐算法,其中最广泛应用是基于领域的方法,在实践中往往是上述几种方法的混合应用。基于领域的推荐算法基于领域的推荐算法主要包含两种:基于用户的协同过滤算法(UserCF)和基于物品的协同过滤算法(ItemCF)基于用户...

2018-12-16 10:29:50 1869

原创 机器学习——支持向量机

支持向量机在高维或无限空间中构造超平面或超平面集合,将原有限空间映射到维数高得多的空间中,在该空间中进行分类可能会更容器。它可以同时最小化经验误差和最大化几何边缘区,因此也。它被称为最大间隔分割器直观。来说,分类边界距离最近的训练数据点越远越好,因为这样可以缩小分类器的泛化误差。模型原理分析下面我们开始计算间隔,其实间隔就等于两个异类支持向量的差在w上的投影,即:推此公式的...

2018-12-14 08:12:17 15468

原创 基于神经网络(多层感知机)识别手写数字

数据集是经典的MNIST,来自美国国家标准与技术研究所,是人工书写的0~9数字图片,图片的像素为28*28,图片为灰度图。MNIST分别为训练集和测试集,训练数据包含6万个样本,测试数据集包含1万个样本。使用Tensorflow框架加载数据集。加载数据集的代码如下:import tensorflow as tfimport sslssl._create_default_https_...

2018-11-27 18:14:05 702

原创 使用Tensorflow构造简单的神经网络模型

TensorflowTensorFlow™是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief [1]  。 Tensorflow拥有多层级结构,可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算,被广泛应用于谷歌内部的产品...

2018-11-25 15:28:26 541

原创 Splash的安装中出现的问题的解决和基本使用介绍

Splash是一个JavaScript渲染服务,是一个带有HTTP API的轻量级浏览器,同时它对接了Python中的Twisted和QT库。利用它,我们同样可以实现动态渲染页面和抓取。功能介绍利用Splash,我们可以实现如下功能: 异步方式处理多个网页渲染过程; 获取渲染后的页面的源代码或截图; 通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度; 可执行特定的Jav...

2018-07-24 16:09:55 5096 2

原创 正则表达式的总结

正则表达式的总结一.概要正则表达式是对字符串(包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,模式描述在搜索文本时要匹配的一个或多个字符串。二.实例引入说了这么多,可能我们对它到底是个什么还是比较模糊...

2018-07-01 17:02:59 547 2

原创 JAVA远程调用服务器的shell脚本

1.利用Linux Shell写了两个脚本,一个是重启进程,一个是关闭进程代码如下:#!/bin/bashpid=$(ps -ef | grep "test" | grep -v grep | awk '{print $2}')#echo "$pid"if [ -z "$pid" ];then echo "没有此进程" exit 1fifor id in $piddo kill -9 $id echo "$id"“已经被杀死”donenohup jav

2020-08-06 09:52:19 26

原创 python爬虫模拟登陆之滑块登陆

环境python 3seleniumrequestSelenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和..

2020-07-27 21:58:17 55

原创 java实现创建通用创建Excel

本人使用的是maven源管理jar包,所以第一步导入所需要的jar包,在pom.xml文件中添加 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-scratchpad</artifactId> <version>3.11-beta2</version> </dependency> <dependen

2020-07-22 08:54:52 36

原创 centos7下Nifi1.7的安装

1.Nifi介绍Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。 它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。 NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一 NiFi基于Web方式工作,后台在服务器上进行调度。 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理

2020-07-15 14:51:12 28

原创 Centos7安装ElasticSearch5.6集群

一.环境准备jdk1.8(自己找教程安装这边就不赘述了)elasticsearch-5.6.6.tar(https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.6.tar.gz)二.解压压缩包tar -zxvf elasticsearch-5.6.6.tar三.修改配置文件进入ES根目录,然后输入命令vim config/elasticsearch.yml主机配置:cluster.

2020-07-07 20:27:33 56

原创 centos7下安装CDH5.12集群

一、环境准备:需要的小伙伴联系博主,私信邮箱1556554374@qq.com1.本人集群搭建的ip地址三台分别为192.168.1.171~173(三台机器都要执行)分别修改主机名为cdh1、cdh2、cdh3(如vim没有安装,自行使用命令 yum install vim)vim /etc/hostname分别修改hosts文件vim /etc/hosts编辑完之后分别重启三台机器2.卸载OpenJDK(所有机器都要执行)输入命令查看是否有...

2020-07-07 09:55:44 52

原创 jvm虚拟机

对于java程序员来说,java虚拟机(JVM)可以说是既神秘又熟悉。JVM是Java Virtual Machine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的计算机,是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息,使Java程序只需生成在Java虚拟机上运行的目标代码(字节码),就可以在多种平台上不加修改地运行。JVM在执行字节码时,实

2020-06-27 22:24:08 41

原创 大学这三年的收获及总结

2017年我迈入了大学,起初的大学的生活确实是让人有点失落,刚进大学的我对未来一片迷茫,不知道干啥,更是对这个专业以后能干啥真的是一点方向感都没有,软件这东西,在我们生活中那么普及,但是我作为开发人员能干啥呢,这些枯燥无味的代码真的能改变人们的生活吗?后来,经过老师,学长的普及,慢慢的对本专业有了一些了解,自己也有了一点方向和想法,找到了努力的方向,找到了自己的节奏。现在回头来看,大学这三年主要干了三件事情,第一,是写代码,因为我是高技术的吧,多写代码可能能提高自身的技术吧,第二,是看书,不管是功利性的读书

2020-06-17 20:52:12 85 4

原创 JAVA springboot框架与activeMq的简单应用

ActiveMq的简介ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。主要特点:  多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,

2020-05-29 09:58:43 50

原创 websocket的简单应用

WebSocket协议Websocket协议具有生命周期,在生命周期由Websocket协议进行支撑。例如,在Servlet技术中,底层协议仅仅定义了简单的请求/响应交互,此交互完全独立于下一次交互。事实上,在大部分情况下携带交互数据的底层网络连接将被完全弱化。一些技术必须请求/响应交互模型之上构建会话,这有助于开发人员创建比单一的隔离的交互生存时间更长的应用。Websocket协议定义了客户端和服务器间长时间存活的专用的TCP连接的正因为如此,在定义更长时间的生命周期方面,它比传统的Web请求/响

2020-05-18 22:47:52 50

原创 运用springboot实现文件上传和下载的功能

文件上传和读取是项目开发中必备的功能,前几天开发项目的时候自己研究出来的,总结一下为以后项目开发积累经验,方法很简单,配置文件存放路径,然后加一个虚拟路径映射使得用户能从浏览器访问文件。文件处理类package com.scs.util;import java.io.File;import java.io.FileOutputStream;import java.util.UUI...

2020-04-24 21:29:34 121

原创 springboot+shiro实现权限管理

springboot框架简介Spring的诞生是 Java 企业版(Java Enterprise Edition,JEE,也称 J2EE)的轻量级代替品。无需开发重量级的 Enterprise JavaBean(EJB),Spring 为企业级Java 开发提供了一种相对简单的方法,通过依赖注入和面向切面编程,用简单的Java 对象(Plain Old Java Object,POJ...

2020-04-03 20:48:45 58

原创 2020年新冠疫情对IT行业的影响

好几个月都没有写博客了,一方面是因为去年下半年开始工作和学业较忙,没有足够的时间学习新的技术,我觉得最主要的是自己的惰性太大,导致我无心学习新的技术,和朋友们交流最近的心得,我对此表示很遗憾。新的一年刚开始,发生的事情实在是太多了,2020开始,新冠病毒的出现,导致我们大家的计划都落空了,下面我就聊聊这次新冠疫情的出现从我个人观点来分析对互联网行业的冲击和影响。1.互联网行业空前膨胀全...

2020-03-22 21:34:23 1964

原创 物联网协议MQTT(JAVA实现)

概述MQTT是IBM开发的一个即时通讯协议,有可能成为物联网的重要组成部分。该协议支持所有平台,几乎可以把所有联网物品和外部连接起来,被用来当做传感器和制动器之间通信的桥梁。MQTT协议是为大量计算能力有限,且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议。有以下特点:使用发布/订阅消息模式,提供一对多的消息发布 使用TCP/IP提供网络连接 小型传输,开销很小(...

2019-12-15 20:18:47 471

原创 HBase架构

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系...

2019-10-28 11:14:11 77

原创 mysql主从复制,双击热备

1.主从复制:mysql数据库提供了一种主从备份的机制,其实就是把主数据库的所有的数据同时写到备份的数据库中。实现mysql数据库的热备份。要想实现双机的热备,首先要了解主从数据库服务器的版本的需求。要实现热备mysql的版本都高于3.2。还有一个基本的原则就是作为从数据库的数据版本可以高于主服务器数据库的版本,但是不可以低于主服务器的数据库版本。当然要实现mysql双机热备,除了my...

2019-10-22 17:13:44 82

原创 使用centos7安装Ambari

Ambari简介Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sq...

2019-09-27 11:43:14 140

原创 使用flume实时监控hive文件到HDFS

Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入HDFS。Flume组成架构如下所示:Flume Agent内部原理如图所示:1.配置hive日志文件存放位置:2.修改配置项:在hive的根目录下创建logs文件夹3.创建flume的配置文件在flume的根目录下创建job文件夹用来存放flume的配置文件:创建file...

2019-09-26 09:34:39 142

原创 Kafka架构深入解析(一)

消息系统通常由生产者(Producer)、消费者(consumer)和消息代理(broker)三大部分组成,生产者会将消息写入消息代理、消费者会从消息代理中读取消息。对于消息代理而言,生产者和消费者都属于客户端:生产者和消费者会发送客户端请求给服务端,服务端的处理分别是存储消息和获取消息,最后服务端返回响应结果给客户端。kafka工作流程及文件存储机制kafka中消息是以topi...

2019-09-22 17:26:34 77

原创 Vue组件通信

组件不仅仅是把模板的内容进行复用,更重要的是组件间的通信,通常父组件的模板中包含子组件,父组件要正向地向子组件传递数据以及参数,子组件接收到参数后再根据参数的不同来渲染不同的内容或执行操作。下面用图来表示父组件和子组件间的通信1.使用props传递数据基本用法正向传递数据的过程就是通过props来实现的。在组件中,使用选项props来声明需要从父级接收的数据。props的值有两...

2019-09-19 09:39:40 41

原创 浅谈人工智能对未来人类生活产生危险

现在我们正处于人工智能时代,那么人工智能时代是怎样的时代?机器人带来的社会革命影响范围究竟有多广?机器智能时代下,还有多少工作机会是属于你的?机器人技术革命是否会像第一次工业革命,第二次工业革命一样在消灭大量就业岗位的同时也创造出无数新的就业机会?诚然,随着人工智能和机器自动化的快速发展,未来的社会结构和经济基础都可能发生变化,大多数人的收入会停滞、下降甚至减少为零。现代社会的人群收入构成是一...

2019-08-24 10:58:08 386

原创 SSM下使用fileupload上传视频文件

FileUpload 是 Apache commons下面的一个子项目,用来实现Java环境下面的文件上传功能,与常见的SmartUpload齐名上传的文件要求包括一个根据RFC 1867(在HTML中基于表单的文件)编码的选项列表清单。组件FileUpload可以解析这个请求,并给你的应用程序提供一份独立上传的项目清单。无论每个项目背后如何执行都实现了FileItem接口。这里将描述组件...

2019-07-21 11:19:22 245 3

原创 Ubuntu16.04下kafka的安装和测试

简单说明一下什么是kafkaApache kafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前kafka已经可以做更多的事情。举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋,消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生产鸡蛋,那新生产的...

2019-06-15 11:09:10 164

原创 Spark作业运行流程

Spark有3种运行模式,包括Standalone,YARN和Mesos,其中,Mesos和YARN模式类似。目前用得比较多的是Standalone模式和YARN模式 Standalone运行模式 Standalone模式是Spark实现的资源调度框架,其主要的节点有Client节点、Master节点和Worker节点。Driver既可以运行在Master节点上,也可以运行在本地Clie...

2019-06-11 11:32:00 678

原创 Spark GraphX

SparkGraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。那么什么是图,都计算些什么?众所周知社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,数据中出现网状结构关系都需要图计算。GraphX是一个新的Spark API,它用于图和分布式图(graph-par...

2019-05-21 20:50:40 588

原创 Spark Streaming转换操作

在流计算应用场景中,数据流会源源不断到达,Spark Streaming会把连续的数据流切分成一个又一个分段,然后,对每个分段内的DStream数据进行处理,也就是对DStream进行各种转换操作,包括无状态转换操作和有状态转换操作。DStream上的原语与RDD的类似,分为Transformations(转换)和Output Operations(输出)两种,此外转换操作中还有一些比较特殊的...

2019-05-20 14:15:49 125

原创 实现SpringMVC数据绑定

SpringMVC数据绑定的使用数据绑定即是将HTTP请求中的参数绑定到Handler业务方法的形参常用的数据绑定类型基本数据类型 包装类 数组 对象 集合(List,Set,Map) JSON话不多说,上代码:项目结构如下所示:第一步:编写Controller类:package com.imooc.controller;import com.imooc....

2019-04-15 09:50:12 69

原创 MyBatis入门

一个月没更新我的博客了,今天有兴致来写一篇!MyBatis是一个优秀的数据持久层框架,在实体类和SQL语句之间建立映射关系,是一种半自动化的ORM实现。其封装性要低于Hibernate,性能优越,并且小巧、简单易学,应用也越来越广泛。什么是数据持久化数据持久化是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中的数据模型的统称。例如,文件的存储、数据的读取等都是数据持久化操作...

2019-04-11 15:20:52 67

原创 对于Spring AOP的一点理解

AOP的概述 AOP Aspect Oriented Programming 面向切面编程AOP采取了横向抽取机制,取代了传统纵向继承体系重复性代码(性能监视、事务管理、安全检查、缓存)Spring AOP采用纯JAVA实现,不需要专门的编译过程和类加载器,在运行期通过代理方式向目标类织入增强代码。 AOP相关术语 Joinpoint(连接点):所谓连接点是指那些被拦截到...

2019-03-25 17:13:53 81

原创 SpringMVC框架入门

什么是SpringMVC?Spring框架的一个后续产品目前最好的实现MVC设计模式的框架MVC 是一种使用 MVC(Model View Controller 模型-视图-控制器)设计创建 Web 应用程序的模式: Model(模型)表示应用程序核心(比如数据库记录列表)。 View(视图)显示数据(数据库记录)。 Controller(控制器)处理输入(写...

2019-03-18 12:13:13 65

原创 比赛总结

比赛结束了,结果虽然不是我所期望的,拿了一个二等奖,但我还是会重拾信心,继续向前。回顾过去的这一周我觉得收获了许多,以前总感觉自己多少的牛逼,但当遇到了自己从来没有遇到的bug或者没有看到过的代码的时候,一脸懵逼,那时候真的是心态爆炸的那种,这次失败绝非偶然,是有很多因素造成的。首先,我觉得是我们的团队协作能力不强,自己干自己的事情,不知道相互配合,相互协作,靠单打独斗是不可能成功的,一个...

2019-03-14 09:55:20 626

原创 Hive分桶表的总结

分桶表数据存储分区针对的是数据的存储路径;分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。分桶是将数据集分解成更容易管理的若干部分的另一个技术。1.先创建分桶表,通过直接导入数据文件的方式(1)数据准备1001 ss11002 ss21003 ss31004 ...

2019-03-03 17:18:47 229

原创 Hive分区表总结

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。当设置为动态分区时,首先把Hive设置为"nostrict"模式hive>set hive.mapred.mode=nonstr...

2019-03-02 16:32:43 131

原创 Flask框架的一个小案例

这个案例简单的实现了Flask框架的原理,运用python中的Flask框架从数据库中提取数据,前端页面运用echarts渲染后端代码:from flask import Flask,render_templatefrom flask_sqlalchemy import SQLAlchemy#创建Flask应用对象#__name__表示当前模块的名字app=Flask(__nam...

2019-02-21 19:42:04 295 3

提示
确定要删除当前文章?
取消 删除