- 博客(18)
- 收藏
- 关注
RSS订阅原创 python 项目打包 docker镜像
这是创建容器的启动和编译的脚本（项目内的文件路径最好用全路径）这是python 项目需要的依赖的版本对应。经过编译没有错误后，可以将镜像导出本地。
2023-02-23 13:31:57
1279
原创 Ubuntu 编译 hadoop源码
需要更改openssl 的版本；并且在环境变量中添加export OPENSSL_ROOT_DIR=/opt/openssl-1.0.1r（安装目录）export OPENSSL_INCLUD_DIR=OPENSSLROOTDIR/includeexportOPENSSLLIBRARIES=OPENSSL_ROOT_DIR/includeexport OPENSSL_LIBRARIES=OPENSSLROOTDIR/includeexportOPENSSLLIBRARIES=OPENSSL_R
2021-11-01 13:01:02
793
原创 hadoop yarn的日志级别和调度器的更改
更改yarn的日志级别调度器的更改日志级别的更改idea中启用debug的方式调度器的更改在Hadoop的etc/hadoop/yarn-site.xml的文件中加入configuration 标签内。<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.
2021-08-31 15:31:21
1165
原创 Terasort 基准测试
Terasort 基准测试生成数据，teragen 后面生成数据大小，比如我们要生成4GB数据410241024*1024/100 行数据，因为每一行数据是100B，所有要除以100。第二个参数是 数据存放目录/opt/model/hadoop-2.7.6/bin/hadoop jar ./hadoop-mapreduce-examples-2.7.6.jar teragen 42949672 terasort/4GB-input...
2021-07-08 15:56:54
659
原创 docker 的部分软件安装
docker 的部分软件安装安装docker安装MySQL安装redis安装zookeeper安装kafka进入容器安装dockerdocker官网有教程。再将源改成阿里的源(自行百度)安装MySQL先去docker hub中搜索自己需要的版本。在执行如下命令# xxx对应docker hub对应的版本，不加默认最新sudo docker pull mysql:xxx下载后我们可以通过如下命令查看我们下载的镜像sudo docker pull images如果没有显示镜像信息，则
2021-06-01 18:24:52
338
1
原创 MyBatis的学习总结
MyBatis的学习总结环境搭建主配置文件：Dao 对应的配置文件动态SQL：多表查询延迟加载缓存在创建实体类时候最好使用和表中属性一致，为了以后不必要参数封装。idea的database工具给我提供了很好用的实体类生成方法（具体操作请查看该链接）：idea的数据库工具环境搭建在resources目录下创建个主配置文件名字随便。并添加如下约束：<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE configuration
2021-01-08 19:34:31
735
原创 spring的事务控制
spring的事务控制基于XML的声明式事务控制基于注解的声明式事务控制当我们在对数据库操作的时候，如果业务层比较复杂的时候，如果没有事务的控制可能在执行时候，前面的事务执行成功了，而后面的执行没有成功。但这样就会违背事务的一致性。我们应该让操作要么都成功，要么都失败。下面是spring对事务控制的配置步骤基于XML的声明式事务控制<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframew
2021-01-08 15:05:58
152
原创 Spring的AOP
Spring的通知基于XML的AOP配置基于注解的AOP配置AOP 意为，面向切片编程，通过预编译方式和运行期动态代理实现程序功能的同意维护的一致技术。作用： 在程序运行期间，不修改源码对已有方法进行增强。优势： 减少重复代码 提高开发效率 维护方便AOP的相关术语：Joinpoint(连接点): 所谓连接点是指那些被拦截到的点。在spring中,这些点指的是方法,因为spring只支持方法类型的连接点。Pointcut(切入点): 所谓切入点是指我们要对哪些Joinpoint进
2021-01-07 16:11:00
120
原创 Spring的Bean构建
Spring的Bean构建Spring对 Bean的管理：XML创建Bean的三种方式Bean的作用范围Bean对象的生命周期Spring的依赖注入构造函数注入Set方法注入 更常用的方式复杂类型的注入/集合类型的注入Spring对 Bean的管理：注解创建对象注入数据作用范围的生命周期相关 了解有配置类，不需要bean.xml把对象的创建交给spring来管理。Spring的IOC的作用：降低程序间的耦合（依赖关系）Spring对 Bean的管理：XMLspring对b
2021-01-07 11:41:59
407
原创 Java中的动态代理
Java中的动态代理基于接口的动态代理基于子类的动态代理当我们在写代码中需要对源码的方法进行增强，但是我们又不可以改源码。这个时候我们就可以使用代理的方式，当然代理的方式：静态代理和动态代理。但是静态代理我们需要创建很多代理类很是繁琐，而动态代理就是，随用随创建，随用随加载。动态代理可以分为：基于接口的动态代理，基于子类的动态代理。在B站看到黑马老师讲的动态代理，推荐去看下。基于接口的动态代理基于接口的动态代理可以使用JDK官方提供的Proxy类，该类的newProxyInstance方法。new
2021-01-07 09:42:25
233
1
原创 idea的数据库工具
idea的数据库工具连接数据库根据上面的表我们生成实体类当我们使用Java操作数据库时候，我们需要根据表来建立实体类时候，如果表的列特别多的时候，我们手动创建特别费时费力。下面我们可以使用idea的数据库来帮助我们生成实体类。连接数据库idea的右侧有一个database窗口，先建一个数据库连接填写方式如下：连接成功后可以在database看到连接数据库：根据上面的表我们生成实体类我们选择表后右键之后选择Scripted Extensions 里的Generate POJOs.groovy。
2021-01-01 15:43:05
860
1
原创 HadoopHA的搭建
HadoopHA的搭建先配置环境配置ZookeeperHadoop配置先配置环境静态IP配置静态IP为了防止以后开关机后IP被动态分配关闭防火墙Jdk安装IP和防火墙具体配置方式在我上一篇博客：linkJdk 安装在另一篇博客：link在配置/etc/hosts 文件，将集群加进去，每台机器都需要配置。我的配置是这样的：Hadoop100Hadoop101Hadoop102NameNodeNameNodeDataNodeDataNodeDataN
2020-12-31 17:15:29
170
原创 HadoopHA中的脚本
我们需要先配置/etc/hosts将所需要的集群加入在第3到5行(如果有需要可以改)#!/bin/bashif [ $# -eq 0 ];then echo please add text exitfifile=/etc/hostsif [ ! -e $file ];then echo `basename $file` not exsit exitfi# 如果你的集群不在3到5行可以自行更改自己所在的行，并且如果主机名不在第2列也可以更改for usr in `sed -n '3,
2020-12-31 11:29:00
253
1
原创 centos7.9安装ssh免密
centos7.9安装ssh免密先配置下hosts文件先配置下hosts文件编辑下hosts 文件，将想要添加的集群添加进来；sudo vim /etc/hosts之后我们在每台机器上安装密钥；执行：ssh-keygen -t rsa 该命令，然后一路回车当你看到下面这样的情况恭喜该机器已经安装成功；ssh-keygen -t rsa我们可以切换到 .ssh 目录下。该目录是隐藏文件；切换到该目录我们看下有几个文件。一般会有2-4个，id_rsa id_rsa.pub是必要的，如果
2020-12-29 22:08:32
1170
原创 centos的jdk安装
目录centos的jdk安装centos的jdk安装先将jdk放到预先建立的目录：#-C解压到指定的目录tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/software/安装完成查看：之久编辑下path（类似环境变量把）要用root权限：sudo vim /etc/profile打开后输入GG到末尾，在按下o进入换行输入模式。加入这两句，java_home配置成自己的安装的目录。在source下profilesource /etc/pr
2020-12-26 18:51:39
147
原创 centos7 安装
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录前言一、准备工作二、centos的配置1.先将网卡配置下2.其他配置3.将yum 源改成国内的前言 搭建下centos集群提示：以下是本篇文章正文内容，下面案例可供参考一、准备工作 我是在自己电脑上搭建，你需要先查看电脑的cpu支不支持虚拟化，可以使用cpu-v来查看是否支持，cpu-v 下载链接：link如果支持那么恭喜你可以进行万里长城第一步。我使用的虚拟机是vmware可以网上自行搜索下载。还需要准备cento.
2020-12-24 09:38:00
342
原创 使用Python 爬取历史天气
Python 的简单爬取天气最近做个简单小项目需要一些天气数据值，所以想去网上爬取一些。下面是我的爬取案例。使用的网站是2345天气网。首先我们分析下网站。打开网页按住F12则可以看到网页的结构。如下图。但当我们改变年份和月份时候发现网页没有发生变化，那我们可以考虑我们需要的东西肯定是动态加载的。当我们看network里相应发下，改变年份或者月份出来一个响应，我们点开看看。发现header的URL是 http://tianqi.2345.com/Pc/GetHistory?areaInfo
2020-11-20 09:00:48
795
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人