- 博客(109)
- 收藏
- 关注
RSS订阅原创 Spark优化
Spark优化总结1.资源调优在部署spark集群时指定资源分配的默认参数(配置文件)spark安装包的conf下spark-env.shSPARK_WORKER_CORESSPARK_WORKER_MEMORYSPARK_WORKER_INSTANCES 每台机器启动的worker数在提交Application的时候给当前的appliation分配更多的资源(liun...
2020-01-14 20:23:12
256
原创 spark进阶4
Spark Streamingspark stream是流式计算框架,支持可扩展,高吞吐量,容错的准实时的数据流处理.1.SparkStreaming与storm的区别Storm是实时的流式处理框架,SparkStreaming是准实时的处理框架(微批处理),因为是微批处理,所以SparkStreaming的吞吐量比Storm高Storm的事务机制要相对完善Storm支持动态资源调度(...
2020-01-07 21:12:01
213
原创 Spark进阶3
Spark1.spark资源调度分析3大结论在默认情况下(在提交任务的时候没有设置–executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个executor会使用这个Worker的所有cores和1G内存如果没有设置–total-executor-cores,则集群默认将剩余所有的(cores)核数全部分配给applicati...
2020-01-02 09:09:36
184
原创 spark进阶2
spark进阶21.Standalone情况下搭建Master的高可用使用fileSystem(文件系统)和zookeeper(分布式协调框架)fileSystem只有储存功能,可以存储Master的元数据信息,搭建高可用的时候,Master失败时,需要我们手动启动另外的备份Master,这个方法不推荐使用zookeeper有选举和存储功能,可以用来存储master的元数据信息,搭建高可...
2019-12-30 10:14:18
139
原创 Spark进阶
Spack进阶1.RDD的依赖关系窄依赖(不产生shuffle)父RDD和子RDD的patiition之间的关系是一对一,或者是多对一的关系宽依赖(会有shuffle产生(类似中间结果,会影响计算效率))父RDD和子RDD的patition之间的关系是多对一.宽依赖与窄依赖示意图2.stage过程spark会根据RDD之间的依赖关系,形成一个有向无环图...
2019-12-28 11:54:23
162
原创 Spack基础
Spack1.简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法2.RDD弹性分布式数据集RDD的五大特性RDD是...
2019-12-27 10:42:57
3334
原创 Scala增加
Scala1.trait相当于java中的接口,但比接口的功能要强大与接口不同,可以定义属性和方法的实现可以实现多重继承package com.shsxttrait Write { val name = "zs" val age = 20 def write(): Unit = { println("write....") }}trait Read...
2019-12-25 20:59:38
120
原创 Scala
Scala1.数据类型scala相比较以与java语言多出来以下几种数据类型:Unit:表示无返回值,与java语言中的void相同Null:空值或者空引用Nothing:所有其它类型的子类型,表示没有值Any:所有类型的超类,任何实例都属于any类型AnyRef:所有引用类型的超类AnyVal:所有值的超类2.类和对象在scala语言中一行的结尾可以省略分号,若一...
2019-12-25 15:54:59
112
原创 Zookeeper
Zookeeper1.数据存储的方式将数据存放在多块磁盘看到能解决IO瓶颈的问题全量备份好处:有效的缓解了IO的问题缺点:不利于数据的扩充对数据进行切片shard好处有效的缓解了IO的问题还可以更多的去存放数据,容量可以扩充缺点当一个节点异常关闭所有的数据都失效DaidRAID的基本思想是将多个容量较小,相对廉价的磁盘进行有机组合,从而以较低...
2019-12-10 20:42:54
84
原创 电商日志分析
电商日志分析项目中名词用户/访问不知道是否是本网站的会员,处于未登陆状态表示同一个浏览器代表的用户,唯一标示用户我们可以使用cookie来标识用户,但是不同浏览器cookie之间是不能共享cookie只能代表同一个浏览器代表的客户会员该用户已经登陆了系统可以把会员的信息唯一标识当成这个人会话用户在一段时间内的操作我们可以通过操作来模拟会话,时间,IDP...
2019-12-04 20:15:07
734
原创 Hive的自定义函数与优化
Hive的自定义函数与优化1,自定义函数UDF一进一出一次处理一行返回一行UDAF聚合函数一次处理多行返回一行2.数据的分桶分区可以将常用的属性进行分区,会自动创建文件夹然后根据相同分区的数据会放在同一个文件夹中,如果按照分区条件查询,只需要查询指定的文件目录如果分区的数据散列比较好,这时分区就会产生很多个分区,而且每个分区内的数据寥寥无几...
2019-12-03 21:19:33
135
原创 Hive
Hive1.数据库的OLTP(联机事务处理)针对数据的事务处理ACID原则(原子性,一致性,持久性,隔离性)描述了数据库当前的状态数据库的隔离级别读未提取读已提取可重复读序列化OLAP(联机分析处理)我们发现分析一些历史数据可以获取利益我们会将以前的数据汇集到一起进行分析于是我们需要建立数据仓库2,数据仓库(Data Warehouse)主要用来存放数...
2019-12-03 19:09:50
387
1
原创 Hbase
Hbase(hadoop database)1.特点费关系型数据库适合存放半结构化或者非结构化的数据高效扩展面向列2.数据结构传统型关系数据库行的主键列HBaseRowKey行的唯一主键默认按照字典序排序设置Rowkey的时候,注意当前数据特点进行设置Column Family列族属于列的一个集合属于列的时候必须列族:列列族最好在声明的...
2019-11-29 19:58:20
87
原创 Hbase
Hbase(hadoop database)1.特点费关系型数据库适合存放半结构化或者非结构化的数据高效扩展面向列2.数据结构传统型关系数据库行的主键列HBaseRowKey行的唯一主键默认按照字典序排序设置Rowkey的时候,注意当前数据特点进行设置Column Family列族属于列的一个集合属于列的时候必须列族:列列族最好在声...
2019-11-27 14:27:05
106
原创 MapReduce
MapReduce1.简介MapReduce是一种分布式的离线计算框架,是一种编程模型,分为MapTask和ReduceTask两部分.概念:Map(映射)和Reduce(归纳)输入(格式化k,v)数据集—>map映射成一个中间数据集(k,v)—>reduce相同的key为一组,调用一次reduce方法,方法内迭代着一组数据进行计算设计理念(分与合)2.Mapper...
2019-11-27 09:08:02
78
原创 HDFS优化
HDFS优化1.HDFS存在的问题NameNode:单点故障,难以运用与在线场景NameNode:压力过大,且内存受限,影响系统扩展性.2.解决问题HAActionNameNode(主节点)接受客户端请求,发送指令工作保存元数据信息:关机之后存放在磁盘里…fsimage保存文件与block的映射保存block与DN的映射:并不会持久化到磁盘里,需要开机启动汇...
2019-11-26 21:57:56
210
原创 HDFS
HDFS1.Hadoop的组成部分HDFS:分布式存储系统, – 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务MapReduces:分布式计算系统, – 具有易于编程、高容错性和高扩展性等优点Yarn:分布式资源管理框架.– 负责集群资源的管理和调度2.HDFS数据存储架构字节数组文件都是由字节数组组成的我们可以将字节数组拆分成更小的数组在我们需要的时候,再将字节数组组...
2019-11-26 21:29:46
136
原创 linux
linux1.配置虚拟机网络参数vi /etc/sysconfig/network-scripts/ifcfg-eth0linux的基础操作命令dd 删除一整行i 讲文档变成可编辑模式esc 讲可编辑模式变为不可编辑:wq 保存并退出关机:poweroffDEVICE=eth0 //网卡的名称TYPE=ethernetONBOOT=yes 开机自动开启BO...
2019-11-12 19:00:30
73
原创 MySql回顾学习第一天
select …(输出) from…(获取数据)where…(过滤)group by…(分组)having…(过滤)order by…(排序)limit…()限定个数执行顺序1.from 2.where 3.group by 4.select 5.having 6.order by 7 limit数据的组织是以表的形式sql相当于语言,可以查询数据库mysql是软件,...
2019-10-15 14:53:21
151
原创 redis-cli 命令的基本操作
redis-cli 命令的基本操作一、 redis-cli 连接 redis-h 用于指定 ip-p 用于指定端口-a 用于指定认证密码输入命令PING,返回PONG,表示已连接redis.指定库别二、 redis-cli 操作 redis 五种数据类型1、操作 StringSet:添加一条 String 类型数据Get:获取一条 String 类型数据Mset:添加多条...
2019-10-11 17:15:50
23385
原创 redis的安装
redis的安装1.进入官网下载好安装包,2.打开虚拟机,打开Xshell,将安装包上传至服务器3.将压缩包解压.tar --help(帮助命令) tar -zxvf redis-5.0.3.tar.gz(循环递归打印并读取4.安装依赖yum -y install gcc-c++ autoconf automake5.预编译:切换到解压目录 cd redis-5.0....
2019-10-10 11:41:17
116
原创 redis学习
Redis学习1.Redis是什么Redis是一种支持key-value等多种数据结构的存储系统,应用场景:用于缓存,事件分布或订阅,高速队列.该数据库使用ANSIC语言编写,支持网络,提供字符串,哈希,列表,队列,集合结构直接存取,基于内存,可持久化.2.支持语言3.Redis支持的数据结构string(字符串):它是redis的基本数据类型,一个键对应一个值,需要注意是一个键值最...
2019-10-09 09:57:47
112
原创 vsftpd文件上传工具类
vsftpd文件上传工具类FTPUtil.javapackage com.ego.util;import org.apache.commons.net.ftp.FTP;import org.apache.commons.net.ftp.FTPClient;import org.apache.commons.net.ftp.FTPReply;import org.slf4j.Logge...
2019-09-20 20:27:14
167
原创 商品分类-新增分类-上传图片
商品分类-新增分类-上传图片分布式项目上传图片到某一个节点上,访问不到图片节点:搭一个文件服务器Vsftpd 文件服务器1、使用场景问题：程序为分布式，上传图片至服务 1，获取图片时，如果从服务 2、服务 3 获取图片无法正常获取，怎么办？解决思路：将文件（图片）进行独立管理。实现打开虚拟机vi /etc/sysconfig/network-scripts/ifcfg-eng3...
2019-09-20 14:53:11
809
原创 商品分类-列表页
商品分类-列表页页面展示1、分析页面结构2、后台代码实现这个后台返回前台要是一个集合,所以用用到json2.1、添加 ego-common 项目 pom.xml 的 json 依赖<!-- Jackson Json 处理工具包 --> <dependency> <groupId>com.fasterxml.jackson.core&l...
2019-09-19 19:41:09
4966
原创 商品分类-新增分类-保存
商品分类-新增分类-保存[外链图片转存失败(img-UPDyKRIY-1568892106467)(C:\Users\Administrator.USER-20190328CX\AppData\Roaming\Typora\typora-user-images\1568891812461.png)]1、编写公共保存状态返回对象ego-common 的 com.ego.enums 的 Base...
2019-09-19 19:21:56
637
原创 商品分类-新增分类-级联查询
商品分类-新增分类-级联查询新增功能,首先实现级联查询1、实现步骤1.1、 Service 服务层package com.ego.service;import com.ego.pojo.GoodsCategory;import com.ego.vo.GoodsCategoryVo;import java.util.List;/** * 商品分类service */pu...
2019-09-19 18:58:00
1007
原创 后台管理系统——项目框架搭建
后台管理系统——项目框架搭建1、ego-parent 父模块 1.1、 创建 pom 项目:创建父项目不需要选择,直接创建 1.2、 编辑 pom.xml 配置文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xml...
2019-09-19 15:14:32
1501
原创 电商项目功能简述
1.电商行业的技术特点1.技术性2.技术范围广3.分布式4.高并发,集群,负载均衡,高可用5.海量数据6.业务复杂7.系统安全2.电商行业的模式B2B:企业到企业,商家到商家.代表:阿里巴巴B2C:商家到客户.代表:京东.淘宝商城C2C:客户到客户.淘宝集市O2O:线上到线下3.B2C电商系统架构功能模块4.B2C电商系统架构功能描述后台管理系统：管理商品、订单、类...
2019-09-19 14:48:56
9400
原创 crm用户管理的添加或修改
crm用户管理的添加或修改思路分析该功能使用的表: t_user 用户信息 t_user_role 添加用户角色关联信息(真删除) t_role 查询角色列表信息1.生成t_role和t_user_role的接口,pojo,xml2.初始化持久层,业务层继承公共类,修改xml文件3.添加的角色,先查询角色表后反显到前台list<map<object,obiect...
2019-09-06 15:42:37
974
原创 crm系统管理之用户管理分页查询
crm系统管理之用户管理分页查询思路:首先这是操作3张表的功能,3表连查的分页查询t_user 用户表t_role 角色表t_user_role 用户角色表1.准备sql注意 SQL 结尾的分号，在 xml 文件中不需要写，否则这个查询会出现语法错误，是因为我们最后会通过分页工具追加 limit 语句，如果有分号，则语句在分号处结束，limit 就会报错。SELECT u...
2019-09-06 15:11:50
326
原创 crm营销管理之客户开发计划修改开发状态
思路分析:1.未开发的点击开发进入,添加数据,保存数据,开发成功.改变开发状态.一个单表操作数据库t_sale_chance2,前台发送两个数据,id还有是什么状态,后台接受3.后台操作一个单表的修改功能功能实现:1.准备sqlupdate t_sale_chanceset dev_result=#{devResult}where id=#{id}2.SaleChanceMap...
2019-09-04 15:14:12
293
原创 crm营销管理之客户开发计划删除功能
思路分析:1.删除:批量逻辑删除.一个单表的删除t_cus_dev_plan2.准备单表逻辑删除的sql3.service的工具类直接掉4.conroller层直接调方法,功能实现1.准备sql<update id="updateBatch" update t_cus_dev_plan set is_valid=0 where id in <foreach co...
2019-09-04 14:23:49
304
原创 crm营销管理之客户开发计划添加修改功能
思路分析1.首先是操作t_cus_dev_plan表的添加修改功能准备sql;2.service层分析判断是添加还是修改3.控制层掉用service层方法,返回结果功能实现1.准备添加和修改的sqlCusDevPlanMapper.java<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBLIC ...
2019-09-04 14:10:51
243
原创 crm客户开发计划之查看详情或开发
思路分析:1.首先这是操作两张表.上面是t_sale_chance.根据主键查询信息反显至页面上2.下方操作另外一张表t_cus_dev_plan,根据前台点击传过来的saleChanceId,查询,分页展示.功能实现:前台代码cus_dev_plan.js//格式化开发状态function formatDevResult(value) { if (0 == value) ...
2019-09-03 21:27:30
356
原创 crm前台页面封装工具类
封装 base.js/** * 基本crud 通用的js 代码 *//** * 打开对话框 * @param dlgId * @param title */function openAddOrUpdateDlg(dlgId, title) { $("#" + dlgId).dialog("open").dialog("setTitle", title);}funct...
2019-09-02 12:00:09
138
原创 crm营销机会管理之营销机会管理删除功能
思路分析1.单表的逻辑删除sqlupdate t_sale_chance set is_valid = 0 where id in(?,?)2.mapper.xml的sql编写3.service层继承工具类BaseService4.控制层调用方法5.前台的逻辑删除功能实现1.SaleChanceMapper.xml实现<!--批量逻辑删除营销机会--> &l...
2019-09-02 11:57:26
230
原创 crm营销管理之营销机会管理更新
分析思路1.更新与添加共同一个对话框2.点击更新弹出来窗口,会反显后台的数据3.添加与更新功能实现就在于添加会返回主键,更新不会返回主键功能实现1.service实现类直接加入判断(SaleChanceServiceImpl.java)package com.shsxt.crm.sales.service.impl;import com.shsxt.crm.base.constan...
2019-09-02 11:56:43
242
原创 crm添加营销机会
crm添加营销机会思路分析:1.service接口调用dao层方法2.sevice实现类继承接口方法3.控制层调用service层方法返回baseresult1.service层接口package com.shsxt.crm.sales.service;import com.shsxt.crm.base.BaseService;import com.shsxt.crm.sale...
2019-08-30 21:21:12
268
原创 crm营销机会管理搜索功能
sale_chance.js//格式化的处理(分配状态)function formatterState(value,row,index){ if(0==value){ return"未分配"; } if(1==value){ return"已分配"; }}//客户开发状态function formatterDevResult...
2019-08-30 11:43:03
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人