自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

qxf1374268的博客

qxf1374268的博客

原创 keras入门学习
原力计划

最近业务上需要用到机器学习和深度学习的知识,最近也在不断的学习新知识,所以把自己最近用到一些基础知识和体会来记录一下 先按照我自己的理解说几个名词,机器学习,神经网络,深度学习 机器学习:让机器模拟人类的行为去学习一些东西,然后按照人类的逻辑去判断出一个结果或者给出一个结论 神经网络:就像人的神...

2020-05-12 23:50:14 43 0

原创 使用you-get下载b站视频

you-get是一个下载视频流的工具,国外和国内很多的视频网站都可以通过这个下载,具体支持的网站可以去这个工具的github主页查看 安装方式推荐使用python安装,最方便快捷 pip install you-get 比如我想要下载b站的这个视频 那么我主要用的是下面两个命令 第一个,查看...

2020-05-09 00:00:23 340 0

原创 java读取Properties和修改Properties文件

因为最近遇到了,所以做个记录,方便以后使用 这是我项目目录: properties文件 password=1234567 userName=qxf 读取和更新操作类 package com.read.properties; import java.io.File; import java.i...

2020-04-25 22:34:51 40 0

原创 一些算法的知识

今晚的主题 二叉树的构建,遍历 ArrayList和LinkedList的区别 使用LinkedList构建栈 首先我们来看一下怎么遍历这个二叉树,常规的有三种方式: 先序遍历:根左右 中序遍历:左根右 后序遍历:左右根 那么java代码应该怎么实现呢?我在网上找了一个比较常规的写法 首先我...

2020-04-22 22:38:32 36 0

原创 一个算法题引发的思考

今天遇到了一个算法题,具体的描述我已经忘了,但是大概是这么个意思,输入是三个数组,当然数组的个数是不固定的,数组的长度也是不固定的,举个例子,比如: a=[1,2] b=[1,2] c=[5] 输出是 [1,1,5] [1,2,5] [2,1,5] [2,2,5] 乍一看好像看不出规律,...

2020-04-21 22:00:29 44 0

原创 项目中的时间处理

项目中的时间处理 项目做的多了,心得也就多了,项目里面总是要和时间处理打交道,但是,世界是圆形的,我们都学过地理知识,不同的地区,同一时间是不一样的,我们总是听到北京时间xx时xx分,这个东西就叫做时区,时区这个东西非常的有趣,人们为了把时间统一化,想了很多的办法,时区就是最好的解决方案之一,在我...

2019-06-02 01:15:06 69 0

原创 vue学习007

父子组件之间传值 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>父子组件之间传值<...

2019-05-09 21:16:09 58 0

原创 vue学习006

通过路由实现经典布局 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>实现经典布局<...

2019-05-09 20:52:31 34 0

原创 vue学习005

路由的嵌套 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>路由嵌套</title&...

2019-05-09 19:06:23 35 0

原创 vue学习004

优化版的增删改查demo <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>增删改查<...

2019-05-01 20:09:56 35 0

原创 第三章

1,一个简单的java程序 2,注释 3,数据类型 4,变量 5,运算符 6,字符串 7,输入输出 8,控制流 9,大数值 10,数组 1,一个简单的java程序 我能想到的就是hello world,书里面说的就是main函数必须要是public的 public static void mai...

2019-04-26 21:05:18 36 0

原创 sql的优化

sql优化是一门开发的必修课,不管是dba或者是开发都需要了解一些常用的sql优化的知识,因为这样可以大大的提升我们写的代码的效率,减少不必要的优化工作。 在做查询的时候,尽量不要使用selet * from a,因为这样会造成全表的检索,一旦数据量达到千万级别,查询至少需要一分钟,所以在查询的...

2019-03-26 11:38:57 38 0

原创 vue学习003

一个使用vue做的增删改查的小demo <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>品...

2019-03-23 17:19:01 43 0

原创 vue学习002

vue的基本代码结构 <div id="app"> {{ message }} <div> <script> var vue = new Vue({ el: '#app', data:{ message: &#...

2019-03-23 15:27:45 29 0

原创 java算法题

题目一 在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。 public class Solution { public boolean Fin...

2019-03-22 11:15:58 37 0

原创 java的从控制台输入数据

java如果要从控制台输入数据,需要使用Scanner类 在使用Scanner类的时候,需要先导入下面的包: import java.util.Scanner; 所以Scanner可以从控制台获取下面类型的数据: 读取整数 读取浮点数 读取字符串 读取整数 Scanner sc = new ...

2019-03-22 11:00:18 77 0

原创 java面试题

MyObject 的什么方法会对if表达式的正确性产生影响 List l = new LinkedList(); l.add(new MyObject("A")); if(l.contains(new MyObject("A"))){} A.toStr...

2019-03-15 18:00:04 38 0

原创 vue学习001

MVC和MVVM MVC 我的理解就是model-view-controller,在前几年,后台的框架大部分都是采用SSH或者SSM框架来搭建后台,前端使用jsp或者一些其他服务端的语言来渲染html界面,所以前后端都是一个人搞,view叫做视图层,主要负责界面的展示和渲染,controller叫...

2019-03-15 15:09:52 104 0

原创 mysql字段不区分大小写问题

昨天在查询数据的时候发现,mysql里面建的一张表居然不区分大小写,这个是什么意思呢,就是比如 select username from user where userid = 'XXsddsds'; select username from user where userid...

2019-03-07 11:29:58 487 0

原创 BeanUtils.copyProperties和clone()方法的区别

最近撸代码的时候发现有人将一个对象的值赋给另一个对象的时候,并没有使用常规的set/get方法去给对象赋值,而是采用BeanUtils.copyProperties(A,B)这个方法去赋值,但是有的还是有局限性,比如Date类型的值无法赋值,只能赋值为null,所以我大致百度了一下,作为记录。 首...

2019-03-04 17:13:34 1280 3

原创 java中的io流

最近面试遇到了很多问我基础的问题,但是我这边都回答的不是很理想,所以在这里做一个总结,也作为一个复习,帮助自己能够提高自己的水平。 目前遇到的问题如下:mycat的分库分表,主从同步,负载均衡,sql的优化,常见算法,集合,io,java高级,常见的面试题 下面的复习不会按照上述的顺序来复习,只...

2019-03-03 23:28:57 54 0

原创 项目开发感悟2

1,项目一开始就应该让后台和数据不分离,我认为如果两者分开的话,在后期维护的时候有很大的问题。这一条有待研究,但是我觉得这么分离不是很好,但是也有可能是我的经验比较少,需要我日后慢慢理解。 2,项目没有阶段性测试,导致所有模块做完之后,导致需要几个月之前的bug,耗费时间长。 3,项目从一开始就频...

2019-03-03 22:26:38 57 0

原创 java中的集合

最近面试遇到了很多问我基础的问题,但是我这边都回答的不是很理想,所以在这里做一个总结,也作为一个复习,帮助自己能够提高自己的水平。 -目前遇到的问题如下:mycat的分库分表,主从同步,负载均衡,sql的优化,常见算法,集合,io,java高级,常见的面试题 下面的复习不会按照上述的顺序来复习,...

2019-03-03 22:22:14 65 0

原创 Mybatis-Generator自动生成代码

今天主要研究了一下mybatis-generator的自动生成mapper类,xml文件和实体类的配置以及方法。 首先,我采用的是maven的方式构建mybatis框架,第一步要在pom.xml中加入mybatis的依赖包 &amp;amp;lt;!--引入mybatis的jar包--&a...

2018-11-22 19:59:40 497 0

原创 Crontab每秒执行git pull操作

因为最近发现git pull比较多,然后每次都要在服务器上执行git pull操作,就觉得很烦,所以就百度了一下,怎么使用crontab实现每秒的定时操作。 首先编写一个git pull的脚本,命名为gitpull.sh,放到home路径下面。 #!/bin/bash cd /home/sunmn...

2018-11-20 21:57:21 1210 0

转载 正则表达基础知识学习

匹配单个单词:hi 待匹配文本:hi 正则表达式:hi 匹配结果:hi 在多个单词中匹配一个单词:hi 待匹配文本:him,history,high,hi 正则表达式:\bhi\b 匹配结果:hi 在一行中匹配两个单词:hi,Lucy 待匹配文本:him,history,high,hi,...

2018-04-08 17:54:40 126 0

原创 使用sqoop导入sql server数据库

问题描述: 以前都只是使用sqoop导入mysql和oracle数据库的数据,今天突然来了一个sql server数据库,发现按照以前的写法不对,所以开始了我的百度之路。。。 首先,我按照这个大兄弟说的,去下载了sql server的驱动, 但是,在下载SQL Server...

2018-03-28 17:17:18 3684 1

原创 sqoop把oracle数据导入hive出现的问题

问题描述: 使用sqoop将oracle数据库的数据导入到hive中,一直提示“表或者视图不存在”,经检查,数据库,用户名,密码均无误,但是仍然无法导入 解决方案: 这个我第一次的import语句: sqoop import --hive-import --connect jd...

2018-03-21 18:01:29 584 0

原创 hive概念

hive概念 hive的兼容性 hive日志 启动hive hive中除了保存真正的数据以外还要额外保存用来描述库、表、数据的数据,称为hive的元数据。这些元数据又存放在何处呢? 其实就是存放在metastore中 如果不修改配置hive默认使用内置的derby数据库...

2018-02-23 17:08:40 381 0

原创 jdk源码阅读第一天

jdk源码的位置在jdk的src.zip压缩包下面,只需要解压之后就可以导入开始阅读 这篇学习笔记引用了下面文章的很多内容,在此声明一下: https://zq99299.gitbooks.io/java-tutorial/content/content/lang/string.html ...

2018-02-14 14:07:36 314 0

原创 Linux基础入门

使用 touch 命令创建文件 touch filename 使用 cat 命令查看 .bash_history 文件内容(可以查看我们所有的执行过的命令) cat filename 过滤出 /etc/passwd 文件中包含 root 的记录 grep '...

2018-02-14 11:33:00 94 0

原创 Hadoop的生态系统

Hadoop是谷歌大数据解决方案的开源实现,使用Java语言开发,其核心主要是两个部分:分布式文件系统(HDFS)和MapReduce。 Hive是在HDFS和MapReduce上提供一个类似于SQL风格的抽象层,非常容易上手。用户可以用数据库,表的概念来管理数据,使用SQL来访问,计算,不需要...

2018-02-13 16:25:38 135 0

原创 项目总结

框架 项目后台采用Springboot+Mybatis的架构,前端使用的Vue框架和ECharts组件,使用Maven管理项目版本,使用SVN对版本进行控制,采用CDH作为数据分析和清洗的工具,CDH的版本采用CDH5.9.0版本,使用的Hadoop组件主要是:底层的分布式文件存储系统HDFS,...

2018-02-13 16:01:42 125 0

原创 升级hue遇到的问题

LDAP的密码不正确: 尝试修改密码(测试没有效果): ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=sunmnet,dc=com' -w password 'uid=ldapadmin,ou=people,dc=s...

2018-02-13 16:01:25 344 0

原创 升级hue需要配置的模块

Sentry配置 Hive(服务范围)下 hive.sentry.provider配置为默认值 org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider hue配置 backend = de...

2018-02-13 16:01:01 359 0

转载 平台3-0升级文档

平台3.0升级文档 一、软件安装 1、python2.6 或者 python2.7 2、squid(保证每个节点能上外网) $ yum install squid 3、编辑slaves和master文件 4、yum install lrzsz 5、EP...

2018-02-13 16:00:43 160 0

原创 shell总结

刚学shell,然后用shell写了一个测试语句,发现对格式要求还是很高的,比如,如果你要比较两个值,a和b,如果你这么写,肯定会报错: [$a==$b] 因此你必须在中间加空格: [ $a == $b ] 可怕不? 下面是我自己写的一个测试脚本: #!/bin/bash ...

2018-02-13 16:00:23 83 0

原创 Sentry权限相关知识点

大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行为监控. 外围安全技术多指传统意义上提到的网络安全技术,如防火墙,登陆认证等; 数据安全从狭义上说包括对用户数据的加解密,又可细分为存储加密和传输加密;还包括用户数据的脱敏,脱敏可以看做“轻量级”的数据加密。如某人的 生...

2018-02-13 16:00:07 920 0

原创 Kerberos简介

Kerberos简介 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”系统设计上采用客户端/服务器结构与DES加密技术,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行...

2018-02-13 15:59:44 170 0

原创 hue升级文档

首先,确定我们的两个安装包: hue.zip(这个包也可以从我们的git仓库下载,具体链接我会发给你) huetool.zip 然后,在CDH的管理界面停止hue的服务: 1,进入hue 2,选择实例 3,选择Hue Server 4,选择“操作”–&gt;“停止此Hu...

2018-02-13 15:59:20 404 0

提示
确定要删除当前文章?
取消 删除