- 博客(141)
- 资源 (1)
- 收藏
- 关注
原创 Ubuntu:开启虚拟环境virtualenv
1.安装 virtualenv sudo apt install virtualenv 2.安装 virtualenwrapper sudo apt-get install virtualenvwrapper 3.验证 source /usr/share/virtualenvwrapper/virtualenvwrapper.sh./virtualenvwrapper.sh 4.创建虚拟环境 mkvirtualenv [环境名称] 5.切换到指定虚拟环境..
2020-11-30 13:23:56
938
原创 大数据:Hadoop:集群搭建(2.0+)
方案规划 方案,版本 三个集群 软件版本基本配置软件安装软件公共配置(复制虚拟镜像)软件特定配置集群初始化测试
2020-11-18 01:07:09
257
原创 大数据:kafka:shell操作
创建主题 bin/kafka-toipcs.sh --zookeeper 集群地址 --create --replication-factor 副本数量 --partitions 分区数量 --topic 主题名 查看主题列表 bin/kafka-topics.sh --zookeeper 集群地址 --list 查看主题详情 bin/kafka-topi...
2020-11-05 10:05:34
283
转载 大数据:canal介绍
canal 译意水道/管道/,主要用于 MySQL 数据库增量日志解析,提供增量数据订阅和消费canal 工作原理canal 模拟 MySQL slave 的交互协议,伪装成MySQL slave ,向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流)----->kafka等...
2020-10-27 00:11:51
650
原创 大数据:canal:Message数据格式和解析
message{id,Entry}Entry { 1. HeaderlogfileName [binlog文件名] logfileOffset [binlog position] executeTime [ binlog里记录变更发生的时间戳] schemaName [数据库实例] tableName [表名] eventType [insert/update/delete类型]2. entryType [...
2020-10-26 14:40:11
5021
1
原创 大数据:canal:配置文件 + 模板
canal--common参数参数 参数说明 默认值 canal.id 每个canal server实例唯一标识,保证每个不同即可,暂无实际意义 1 canal.ip server绑定的本地主机IP信息,默认当前主机 无 canal.port server提供socket服务的端口 11111 canal.metrics.pull.port 11112 canal.zkServers canal server...
2020-10-26 11:05:59
477
原创 大数据:kafka:消费者程序
1.maven项目:依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.1.0</version> </dependency> <dependency> <group
2020-10-21 13:55:18
269
原创 web前端:Maven_Tomcat插件 + 使用
发现最新的只有7,貌似过时了不维护了,还能用 <plugin> <groupId>org.apache.tomcat.maven</groupId> <artifactId>tomcat7-maven-plugin</artifactId> <version>2.2</version> <configuration&
2020-09-30 16:23:54
122
原创 数据库:数据库练习表格
仅作为个人数据库测试使用,节省时间SET FOREIGN_KEY_CHECKS=0;-- ------------------------------ Table structure for stu-- ----------------------------DROP TABLE IF EXISTS `stu`;CREATE TABLE `stu` ( `id` int(11) NOT NULL AUTO_INCREMENT, `stu_num` int(11) DEFAULT
2020-09-18 14:01:39
731
原创 Scala基础:模式匹配
Scala的模式匹配类似Java的条件选择,但scala匹配的类型更多,功能更强1.值匹配 == Java def matchTest1(x:Int): Any = x match { case x if (60 <= x && x < 99) => "优秀" case 100 => println("你是个人才") case _ => "继续努力吧" } 2.数组匹配3.列表匹配4.类型匹配5.异常处
2020-09-15 11:09:28
113
原创 Scala基础:面向对象(待补充)
Scala封装和Java类似,scala的类也具有方法和属性,构造器。 基本定义如下: class Person { //属性 val id = 20 var gender:String = _ val name: String = "aoteman" //方法 def speak(): Unit = { println("hello,world!") } }占位符使用时必须指定变量占用的类型 使用 var 修...
2020-09-14 18:04:18
193
原创 大数据:图数据库介绍--v1.0
数据库数据模型大体分为两类:关系型数据库 和 非关系型数据库分类一:关系型数据库代表:Oracle、MySQL、SqlServer分类二:NoSQL非关系型数据库 分为四种键-值存储库(Key-Value-stores) BigTable实现(BigTable-implementations) 文档库(Document-stores) 图形数据库(Graph Database) 图形数据库最受关注,主要代表 Neo4J ,大数据的发展趋势方向...
2020-09-10 15:34:27
650
原创 大数据:spark:创建操作 + 转换操作
parallelize和makeRDD相同点:都是从集合中创建RDD不同点:parallelize可以指定分区数,也可以默认系统分区数; makeRDD会为对象创建最佳分区(固定:由系统决定)
2020-09-08 14:58:09
207
原创 大数据:Scala:数据结构:数组 + 列表
数组:在使用Array声明定长数组 用圆括号区别Java [ ]方式一: val 数组名 = new Array[数据类型](长度)//声明一个长度为4的整型数组,每个数组元素初始化为0val intArray = new Array[Int](4) //给第1个元素赋值为1intArray(0) = 1方式二: val 数组名 = Array(元素1,元素2,元素3.......元素n)//快速声明和赋值val intValueArr = Array(1,2,...
2020-09-07 18:40:48
249
原创 Web应用:解决Date类型前台转换错误的情况
实体类:对应数据类型上添加注解 @DateTimeFormat(pattern = "yyyy-MM-dd")//页面写入数据库时格式化 @JsonFormat(pattern = "yyyy-MM-dd", timezone = "GMT+8") private Date create_time; @DateTimeFormat(pattern = "yyyy-MM-dd")//页面写入数据库时格式化 @JsonFormat(pattern = "yyyy-M
2020-09-01 10:00:11
280
原创 Scala基础:常用函数
1.filter 过滤函数表达式: list.fillter(条件表达式)作用:对集合遍历过滤,返回满足条件元素的新集合 val list0 = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) val list1 = list0.filter(x => x*x) val list2 = list0.filterNot(x => x +x) println(list1) //List(2, 4, 6, 8,10) prin...
2020-08-25 11:19:39
575
原创 Scala基础:控制结构介绍
选择1. if...else... if (条件判断) { 执行语句1 } else { 执行语句2 }2. if...else if...else... if (判断条件1) { 执行语句1 } else if (判断条件2) { 执行语句2 } else { 执行语句3循环1. while...
2020-08-25 10:09:17
134
原创 大数据:Hadoop:MapReduce实现WordCount
注意:1.Java语言编写,数据类型需要用Hadoop自带的数据类型!! 2.三个文件:map,reduce,main(driver) 需要的jar包 $HADOOP_HOME/share/hadoop/common/ $HADOOP_HOME/share/hadoop/common/lib $HADOOP_HOME/share/hadoop/mapredudce $HADOOP_HOME/share/hadoo
2020-08-24 14:38:40
200
原创 大数据:Spark案例:根据日志获取最大访问网页
目标需求:根据网站访问日志的到访问量最高的页面数据格式:import org.apache.spark.{SparkConf, SparkContext}//需求:根据网站访问日志的到访问量最高的页面object MyWebLogCount { def main(args: Array[String]): Unit = { //开发过程采用local模式,消除bug再打包部署 //定义一个SparkConf(配置参数) val conf = new.
2020-08-24 14:08:25
506
1
原创 大数据:实时计算spark streaming案例
import org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}//object相当于Java中的static静态object NetworkWordCount { def main(args: Array[String]): Unit = { //创建一个Spark.
2020-08-24 13:45:03
313
原创 web前端:datables单元格颜色
根据单元格数值范围设置颜色$('#example').dataTable( { "columnDefs": [ { "targets": 3, "createdCell": function (td, cellData, rowData, row, col) { if ( cellData < 1 ) { $(td).css('color', 'red') } } } ]} );...
2020-06-29 14:11:43
588
原创 web前端:常用xml开头
web.xml<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" ver
2020-06-29 13:26:31
1378
原创 web前端---前端处理JSON数据
1.JavaScript中处理JSON数据var obj = '{ "id" : "001", "name" : "senven"}';js(字符串)对象转为JSON对象var myJSON = JSON.parse( obj )JSON对象解析为字符串var obj = JSON.stringify( myJSON )json字符数组转化为json数组var ...
2020-02-15 18:52:57
2705
原创 Java框架:框架分层介绍+ po vo
基本分层:表现层、控制层、逻辑层、DAO层 、数据库表现层:页面展示 HTML、jsp、js 控制层:将请求从页面传到后台的代码 Controller 逻辑层:处理请求的代码 Service ServiceImpl DAO层 :操作数据库代码 Dao、DaoImpl;mapper、mapper.xml 数据库:存数据软件 mysql SqlServer...
2020-02-15 17:28:29
829
原创 软件操作:IDEA操作
IDEA修改git账号密码1.system setting -->passwords 2.控制面板-->用户账户-->管理您的凭据-->windows管理凭据 (一般不需要,只到第一步然后重启IDEA即可) 3.重启IDEA...
2019-12-16 15:49:43
699
原创 web前端:BootStrap
Bootstrap :一个用于快速开发 Web前端框架。基于 HTML、CSS、JavaScript 容器: 按钮: 图标: 图片: 导航条: 表单: 路径导航: 巨幕: 模态框: 下拉菜单: 进度条: ...
2019-12-05 16:41:57
194
原创 Java框架:Mybatis 和 Hibernate 区别
Mybatis技术特点:优点: 通过直接编写SQL语句,可以直接对SQL进行性能优化,代码可维护性强 学习门槛低和成本低,容易上手缺点: 不支持数据库无关性,数据库移植性差。 需要编写结果映射。 Mybatis应用场景:需求复杂多变的互联网项目,例如电商项目Hibernate技术特点:优点: 标准的orm框架,...
2019-11-05 22:16:40
173
原创 Java框架:Mybatis:延时加载 + 缓存
延迟加载==懒加载==按需加载:mybatis中,resultMap 标签的association标签(模型)和collection标签(集合)都具有延迟加载功能配置:在全局配置文件中 <!--配置允许懒加载--> <settings> <setting name="lazyLoadingEnabled" value="t...
2019-11-05 18:46:49
208
原创 Java框架:Mybatis:逆向工程
逆向工程:通过数据库中的单表,自动生成java代码下载地址:https://github.com/mybatis/generator/releases使用方法:1.创建简单项目/maven 2.导包/pom.xml添加依赖 3.创建generator配置文件 4.main方法运行 5.复制生成的代码到工程generator.xml<?xml version="1...
2019-11-05 16:44:09
376
原创 Java框架:Mybatis:Mapper代理开发方式 + 动态SQL + 关联查询
Mapper代理的开发方式: 只需要编写mapper接口,Mybatis会根据映射文件自动生成动态代理实现类。 开发规范:mapper接口的全名对应 mapper映射文件的namespace的值相同 mapper接口的方法名对应 mapper映射文件中的statement(select,insert,delete)的id相同; mapper接口的方法参数只能有一个,且类型要和ma...
2019-11-04 02:09:49
390
原创 Java框架:Mybatis:入门
发展介绍:https://github.com/mybatis/mybatis-3/releasesMyBatis是apache的一个开源项目iBatis, 实质上Mybatis对ibatis进行一些改进。 MyBatis是一个持久层框架,它对jdbc操作数据库的过程进行封装;开发者只需要关注SQL本身,不需要去处理例如注册驱动、创建connection、创建statement、手动设置参数...
2019-11-04 00:27:46
164
原创 Java框架:Spring Boot :打包
注意:配置程序运行主入口App.class 的位置<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId>...
2019-10-29 01:48:31
166
原创 Java框架:Spring Boot :日志处理
SpringBoot + 整合Log4j1.屏蔽SpringBoot的logging <!-- 排除springboot自带的logging 日志--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-star...
2019-10-29 01:13:01
196
原创 Java框架:Spring Boot :多数据源事务管理
多个数据源存在着事务管理问题,事务只影响自己的数据源,解决方案:使用 springboot + jta+atomikos分布式事务管理步骤:1.添加jta事务依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot...
2019-10-28 23:35:40
477
原创 Java框架:Spring Boot :配置多数据源
1.数据源扫描的mapper路径要对应:分包配置,两种包格式 2.数据源读取对应的配置名称要对应 3.主配置数据源和主事务一定加 @Priamry 目录结构:分包配置 步骤:1.创建两个/多个数据库 2.resources/application.properties 配置多个数据源...
2019-10-28 16:51:59
209
原创 Python进阶:爬虫---URL处理
URL编码发送请求(汉字)时需要进行转码 例如:原地址:http://www.oschina.net/search?scope=bbs&q=C语言 编码后:http://www.oschina.net/search?scope=bbs&q=C%E8%AF%AD%E8%A8%80 语言:%E8%AF%AD %E8%A8%80 (三个%代表一个汉字)UR...
2019-10-28 01:40:15
1308
原创 Java框架:Spring Boot :mybatis + Druid数据库连接池 + Spring JDBC
SpringBoot + mybatis1.添加依赖 和 build(xml文件打包) <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </depen...
2019-10-28 01:29:02
187
microsoft visual c++14.0
2018-08-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人