自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(92)
  • 资源 (4)
  • 收藏
  • 关注

原创 Mysql远程登陆

#赋予mysql在任何ip上可以登陆use mysql;grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;FLUSH PRIVILEGES;#如密码太简单报错使用如下密码策略#查看密码策略SHOW VARIABLES LIKE 'validate_password%';#设置密码长度最少为4位set global validate_password_length=4;#设置密

2020-11-05 13:31:15 8

原创 hadoop3的单机启动配置

#下载hadoop的tar包wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz#解压到指定目录tar -xzvf hadoop-3.2.1.tar.gz /export/server#修改配置文件 etc/hadoop/core-site.xml<configuration> <property> <na

2020-11-03 23:29:54 30

原创 Linux(centos8)安装jdk8

先将jdk文件上传到服务器#将jdk解压到指定文件夹tar -xzvf jdk-8u171-linux-x64.tar.gz -C /export/server/#修改 /etc/profile 添加如下命令 并保存export JAVA_HOME=/export/server/jdk1.8.0_171export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/export PATH=$PATH:$JAVA_HOME/bin#配置文件生效source /etc

2020-11-03 14:09:37 72

原创 springboot实现下载和上传文件功能

@Controllerpublic class FileController { // 向文件上传页面跳转 @GetMapping("/toUpload") public String toUpload(){ return "upload"; } // 文件上传管理 @PostMapping("/uploadFile") public String uploadFile(MultipartFile[] fileUpload, Mode

2020-11-03 13:21:38 17

原创 安卓10(Api30)webview的添加方式

public class WebView extends AppCompatActivity { @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_web_view); android.webkit.WebView webView=

2020-11-02 10:52:38 24

原创 androidstudio的‘\ufeff‘错误

我的编码修改为控制台的编码修改为

2020-10-27 23:02:26 7

原创 ssh启动zookeeper失败的集群修改后的启动脚本

不知道用ssh命令启动不了zookeeper集群所以我干脆改用两个脚本启动zookeeper在此处使用启动脚本a启动zookeeper的启动脚本b#!/bin/shfor host in hadoop01 hadoop02 hadoop03do ssh $host "source /etc/profile; sh /root/xcall1.sh"done此处是zookeeper的启动脚本的启动脚本b#!/bin/shfor host in hadoop01 hadoop02 hadoo

2020-10-25 17:21:08 8

原创 Grade配置阿里云的镜像

// Top-level build file where you can add configuration options common to all sub-projects/modules.buildscript { repositories { maven { url 'http://maven.aliyun.com/nexus/content/groups/public/' } maven{ url 'http://maven.aliyun.com/ne

2020-10-22 20:29:51 17

原创 flume的SinkProcessor实践

-----------------------hadoop01--agent1------------------#a1是agent的名称,a1中定义了一个叫r1的source,如果有多个,使用空格间隔a1.sources = r1a1.sinks = k1 k2a1.channels = c1a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2#a1.sinkgroups.g1.processor.type = failover#a1.sink

2020-10-13 21:38:19 13

原创 flume的多agent场景

常用组件①avrosource: 监听一个avro的端口,从另一个avro客户端接受event!必须配置:type – The component type name, needs to be avrobind – hostname or IP address to listen onport – Port # to bind to②avrosink: 将event转为avro格式的event,发送给指定的主机和端口必须配置:type – The component type name,

2020-10-13 14:04:07 14

原创 Taildirsource采集日志

Taildirsource采用的是正则表达式,不可随意修改名字否则回出现重复采集问题1是agent的名称,a1中定义了一个叫r1的source,如果有多个,使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=TAILDIRa1.sources.r1.filegroups=f1 f2 f3a1.sources.r1.filegroups.f1=/root/flume/01a1.so

2020-10-12 20:48:03 17

原创 flume监控实战3-spoolingDirsource监控文件目录

spoolingDirsource是安全的,不会丢失数据,但采集文件时不可以被修改,且文件不能重名#a1是agent的名称,a1中定义了一个叫r1的source,如果有多个,使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=spooldira1.sources.r1.spoolDir=/root/flume#定义chanela1.channels.c1.type=memory

2020-10-12 20:19:24 24

原创 flume监控练习二-监控hive日志

要点:1.linux上必须有hadoop,并已经启动起来,因为使用的是hadfsink2.在a2.sources.r2.command必须需要使用流式命令,如tail,cat,而不是如 date之类的a2.sources = r2a2.sinks = k2a2.channels = c2# Describe/configure the sourcea2.sources.r2.type = execa2.sources.r2.command = tail -F /export/serve

2020-10-07 17:04:35 21

原创 python数据分析与挖掘实战的混淆矩阵纠错

#-*- coding: utf-8 -*-#使用神经网络算法预测销量高低from keras.models import Sequentialfrom keras.layers.core import Dense, Activationimport pandas as pdfrom cmplot import *#参数初始化from numpy import shapefrom 决策树.data.cm_plot import cm_plotinputfile = 'D:/Pytho

2020-10-06 17:22:39 38

原创 Python读取多个execl表并提取合并为一个表

import osimport pandas as pdimport xlrdfrom numpy import shapei=1newlist = []for filename in os.listdir('../data/'): data=pd.read_excel("../data/"+filename) x,y = data.shape data.columns=list('abcd') print(data.columns) data["a"]=data["a"]

2020-10-06 11:22:04 32

原创 Python加速镜像

#清华镜像 如安装 pymysqlpip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple

2020-10-03 13:51:05 14

原创 flume监控练习1-监控端口

mkdir jobcd job/vim flume-netcat-logger.conf# Name the components on this agenta1.sources = r1 a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# D

2020-10-02 12:49:48 16

原创 flume的安装配置

#解压到指定文件夹tar -zxf apache-flume-1.7.0-bin.tar.gz -C /export/servers/flume#修改flume目录下的conf配置文件mv flume-env.sh.template flume-env.sh#添加Java_Home路径(flume依赖java)#查找java路径echo $JAVA_HOME#修改配置文件vi flume-env.sh#添加配置export /export/servers/jdk...

2020-10-02 12:32:59 30

原创 Matlab创建视频

先打开一张图片#读取图片I=imread('1.jpg')#创建视频k=VideoWriter('CAT.avi');#打开open(k);#插入帧writeVideo(k,I);#关闭K=close(k);同一个目录下会出现新的视频,但有个问题matlab创建视频格式为avi,不知道如何修改...

2020-09-27 22:14:15 11

原创 linux的进程学习

#后台执行ping www.baidu.com >> 02.txt &ping www.163.com >> 01.txt &#查看后台进程 %n n代表作业计数#使后台进程调入前台fg %1#将前台进程调入后台bg %2#查看后台的作业数jobs

2020-09-24 16:08:25 11

原创 Python数据分析与挖掘实战的决策树纠错

#导入必要的库import osimport xlrdfrom sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import preprocessingfrom sklearn import treeimport pandas as pd"""""data[u'销量'][(data[u'销量']=='高')]= "1"data[u'是否有促销'][(data[u'是否有促销']=='是')]=

2020-09-24 10:18:24 31

原创 Matlab用for循环实现图片上下反转

#读取图片 相同目录下l=imread('1.jpg')#处理图片需要建立矩阵#305指的是图片的宽度for i=1:305j=int16(i);m=int16(710);n=a(j,:,:);k=a(m-j,:,:);a(m-j,:,:)=n;a(j,:,:)=k;end;

2020-09-09 21:46:36 53

原创 linux过滤

#在同一目录文件查找ls -l |grep "find"#亦可以采用(精确查找)ls -l find#块文件的过滤统计ls -l |grep ^b|wc -l#字符文件的过滤统计ls -l |grep ^c|wc -l

2020-09-06 21:05:27 34

原创 谷歌账号注册失败

可以用qq的app版点击添加账号,点击Gmail就可以用了

2020-09-05 00:02:03 78

原创 shell学习日记2

#shell的数加减乘除#使用expr要保持空格 #计算3 -2 expr 3 - 2#(2*3)*12expr `expr 2 \* 3` \* 12#72/6expr 72 / 6#使用$的方法s=$[(2+4)*6]特殊变量$的各个符号意义如下$?:上条命令的返回值$#:参数个数$*:参数列表$@:参数列表$0-n:$0:脚本名1−1-1−n:第n个参数获取10以上的参数 ${n}#! /bin/bashecho hello+$1B=$1#输出第一个

2020-08-30 17:01:29 19

原创 shell读取文件并输入到另一个文件中

#!/bin/bashtouch cn.txtcat 02.txt | while read linedo echo $line>>$1.$2done

2020-08-29 22:14:46 107

原创 shell学习日记1

注意:变量的赋值不能有空格 否则会出现 command not found的错误#查询shell编辑器cat /etc/shells#centos默认编辑器为/bin/bash和 /bin/sh脚本#! /bin/bashA="AND"echo hello+$1#脚本的执行方式#1sh 01.sh 10#2绝对路径/root/shellfile/01.sh 30#3需要修改执行权限chmod 777 01.sh./01.sh 10#4. 01.sh 10前三种

2020-08-29 21:55:12 37

原创 pandas的相关系数,并绘制饼图

import pandas as pdimport numpy as npfrom matplotlib import pyplot as pltfrom matplotlib import font_managermy_font = font_manager.FontProperties(fname="C:/Windows/Fonts/msyhbd.ttc")file = "D:/python/电影票房/10231_20190831.xlsx";data = pd.read_excel(fil

2020-08-29 20:56:22 210

原创 pandas的索引

#pandas的iloc是通过 索引位置获取,修改数据 loc是通过标签修改数据#获取第2行到第六行(索引为5)的第二列到第六列数据 d.iloc[2:5,[2,5]]#修改第二行第六列的数据d.iloc[2,5]=70#标签为B行E列的数据d.loc["B","E"]=17#布尔索引 比较A列大于12的数据d["A"]>12d[(d["A"]>12)&(d["F"]>30)]...

2020-08-28 10:37:15 31

原创 python的DataFrame数据类型

#DataFrame数据类型适用高维数组 index行索引 cloumns 列索引d = pd.DataFrame(np.arange(36).reshape(6,6),index = list(string.ascii_uppercase[:6]), columns=list(string.ascii_uppercase[:6]))#数据维度d.ndim#数据值d.values#矩阵形状d.shape#前几行d.head(1)#后几行d.tail(1)#矩阵概述d.de

2020-08-27 21:44:04 249

原创 pandas的Series数据类型

pandas的Series的数据用于低维的,且数据烈性必须一致#string.ascii_uppercase 以A-J为索引生成Series数据类型t = pd.Series(np.arange(10),index= list(string.ascii_uppercase[:10]))#以字典类型生成数据a = {string.ascii_uppercase[i]: i for i in range(10)}pd.Series(a)#修改Series的索引 value不存在则赋值为nan

2020-08-27 21:07:25 89

原创 numpy的切片和索引操作

#建立一个6*6的矩阵a = np.arange(36).reshape(6,6)#取第一行a[1]#取第二列a[:,1]#取一到六行,步长为3a[1:6:3]#取一到六行,步长为3,再取1到6列步长为2a[1:6:3,1:6:2]

2020-08-26 21:59:52 34

原创 numpy的转置,互换和拼接

#转置t=np.arange(27).reshape(3,3,3)#适合低维数组(二维以内)t.T#t.transpose()t.swapaxes(1,0)

2020-08-26 21:34:46 53

原创 numpy的广播

#造数k=np.arange(0,11)#修改类型 修改为3行4列k=k.reshape(3,4)#修改为一列k=np.arange(12).reshape(12,1)简单的加减法与相同类型的数组的加法与不同类型的数组的的加减法(存在列或行相同)

2020-08-25 21:41:00 23

原创 matplotlib画折线图

# coding=utf-8from matplotlib import pyplot as pltimport randomimport matplotlibfrom matplotlib import font_manager#初始化字体 my_font = font_manager.FontProperties(fname="C:/Windows/Fonts/msyhbd.ttc")#另外一种设置字体的方式#my_font = font_manager.FontProperties

2020-08-24 16:40:59 38

原创 hive的升降序语句

这是我的数据集#降序排列select *from emp order by desc;#升序排列select *from emp order by asc;#设置Map阶段排序set mapreduce.job.reduces=3;

2020-08-21 21:21:53 28

原创 hive的导入,导出数据几个方式

#从本地文件导入load data local inpath '路径' into table x#从hdfs导入文件load data inpath '路径' into table x#从hive将文件导入hdfs中dfs -put 本地路径 hdfs路径#重写覆盖之前的数据load data inpath '路径' overwrite into table x...

2020-08-20 21:38:39 27

原创 hive的建表,及分区表和分桶表的基本操作

几条hive常用命令#查询数据库详细信息desc database extended db_hive;#强制删除数据库drop database db_hive cascade;#hive的数据导入create table test(name string,friends array<string>,children map<string, int>,address struct<street:string, city:string>)row f

2020-08-20 20:58:50 27

原创 Hive数据持久化到Mysql

首先确保安装了mysql并启动正常,由于我的Hive安装目录在/export/servers/hive-1.2.1使用hive之前需要将mysql连接所需的jar包放到hive路径下的lib文件夹中#启动并进入mysql执行如下命令update user set host='%' where host='localhost';flush privileges;进入hive的conf目录创建 hive-site.xml<?xml version="1.0"?><?xml-s

2020-08-20 15:56:36 30

原创 Linux下的hive的安装

#我采用的是hive1.2.1的版本先检查hadoop和java的环境是否配置好#该命令查看java的安装目录echo $JAVA_HOME#查看hadoop的安装目录echo $HADOOP_HOME具体的配置如下若没有安装hadoop的可参考这篇文章https://blog.csdn.net/id__39/article/details/104647642将hive的压缩包上传到虚拟机上并解压到 /export/servers/的目录下在/etc/profile 中添加HIV

2020-08-20 15:35:37 27

SpringCloud的整合尝试,版本为idea

SpringBoot整合Redis和Mysql5.7,页面较为简单,整合Mysql使用Mybatis和Jpa两种技术,版本为2.1.3,开发环境为idea的2018.3.6版本,Mavn版本为3.6.3

2020-07-19

spring整合mybatis.rar

个人整合spring5.0.2和mybatis3的基于idea2018.3的mavn工程,若有建议,可提出来,大家互相帮助,共建美好社区

2020-05-18

springmvc的idea版本的开发

本版本使用springmvc的注解开发,里面包括了spring和mybatis的注解整合,使用了idea的版本,适合小白使用,关于数据库的表,我截了图放在里面,解压导入使用即可

2020-03-04

fritsspring.zip

本人的学习javaspring的小白配置,希望对大家有用,内含静态工厂实例和普通的xml配置,可以看看,希望大家能提出意见,我会持续更新

2020-01-21

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除