![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习
学习实战
晓为
这个作者很懒,什么都没留下…
展开
-
EasyReport
EasyReport的安装学习安装前提:Jdk1.8以上Tomcat 8以上Mysql5以上安装过程参考https://www.cnblogs.com/weidongliu/p/11027724.html**安装tomcat中遇到的问题** 可以访问tomcat页面,但是无法访问项目 **修改conf目录下的web.xml文件conf/web.xml --> tomcat...原创 2020-04-05 22:16:58 · 5292 阅读 · 0 评论 -
kafka与zookeeper的常用命令
随笔记:<<!大数据集群对于zookeeper集群的依赖是很强的 保证zookeeper集群的稳定是必要的zookeeper作为一个分布式的协调服务框架,其中分两部分 一部分为分布式小文件存储系统 一部分为分布式服务调用微服务分布式文件系统可以通过./zkCli.sh 进入客户端 在linux环境下操作节点 也可以安装web连接ui界面操作分布式服务要保证服务的正常启动以及使用zookeeper的集群问题可以在这两个方面入手 分析文件系统 服务 网络 日志等等!查找被占用的进原创 2021-04-20 10:00:49 · 304 阅读 · 0 评论 -
sqoop抽取:源数据库字段顺序改变
sqoop抽取从源数据库抽取原创 2020-10-14 17:51:42 · 1344 阅读 · 0 评论 -
shell脚本实现多并发(mkinfo)
以下为代码实现的一个模拟场景:3个生产者,在不断提供服务,处理需求,假设1s处理一个。20个消费者,在不断消耗供给产品,提交需求,假设3s消耗一个。情景分析:由于消费者的提交需求能力 和 生产者处理需求的能力 不对等,于是出现了供不应求的供销矛盾。问题:一般情况下,在供不应求时,会有大量的需求被挂起,也就是排队,排队期间消费者不得离开,否则当前所处的队列顺序就被后面的消费者替代。这样所有排队的消费者都无法干别的事,只能空等,类比操作系统中内存、计算单元等资源被空占,影响整体效率。解决思路:通过队列原创 2020-07-20 15:33:27 · 416 阅读 · 0 评论 -
sql server变量
数据库中@与@@"@“是:局部变量声明,如果没有”@"的字段代表是列名;@@是:全局变量eg:声明变量:declare @name varchar(8)赋值:set @name= '张三'查询:select * from stuInfo where stuName = @name由set 和 select 进行赋值;select一般用于查询数据,然后再赋值变量。还有@@error 等是全局变量,系统自定义的,我们只读,不能改!!...原创 2020-07-20 11:45:49 · 164 阅读 · 0 评论 -
sqoop一些常用到的命令
sqoop命令注意:oracle在sqoop使用时要分大小写(表名和字段名)sqoop的命令行只能有一个,不能叠加–hive-delims-replacement “ ” :可以将mysql中取到的\n, \r, and \01等特殊字符替换为自定义的字符,此处用了空格–hive-drop-import-delims :可以将mysql中取到的\n, \r, and \01等特殊字符丢弃–map-column-hive TMSTAMP=String :将sqoop中的java文件转换原创 2020-10-30 15:53:17 · 618 阅读 · 0 评论 -
FineBI的学习
一、基本情况1、简介FineBI相对于传统的BI来说安装使用都很快捷,FineBI不再强烈的依赖于开发人员,它能够让业务人员按照自己的想法来进行数据的分析。帮助企业用户快速、方便的掌握企业内的数据情况,完成相应的分析目标。它提供了完整的教学文档和教学视频,能够让用户在半个小时之内就能够完成简单的数据分析功能[帮助文档](%3Ca href=“https://help.finebi.com/?utm_source=exe”%3Ehttps://help.finebi.com/?utm_sour原创 2020-07-20 12:29:57 · 4598 阅读 · 0 评论 -
shell一些日常用到的命令
shell中的一些命令::<<EOF这个命令相当于idea中的/ /,中间的内容相当于被注释掉EOF也可以换成别的字符,只要上下保持一致EOF1>$2 或者2>$1这两个命令的理解如下:在shell中‘0’代表标准输入,在前台输入‘1’代表正确输出,打印在控制台‘2’代表错误输出,打印到控制台‘>’代表重定向(覆盖)'>>'代表重定向(追加)执行shell命令打印到控制台的正确内容就是‘1’输出执行shell命令打印到控制台的报错信原创 2020-07-13 12:45:10 · 117 阅读 · 0 评论 -
代理的理解
正向代理和反向代理1、在搞清楚正向代理和反向代理之前,首先要清晰几个概念local 本地计算机 就是自己手边用的计算机代理服务器 就是一台代理一个或多个计算机的服务器目标服务器 就是最终要得到数据的那台服务器2、正向代理从本地出发,要访问目标服务器得到数据,但是直接访问不到,所以找来一台能够连接目标服务器的代理服务器。这时访问代理服务器就可以得到最终的数据3、反向代理从本...原创 2020-04-10 19:12:48 · 152 阅读 · 0 评论 -
shell中的一些关键字
shell中的$0 $n $# $* $@ $? $$$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字,表示第几个参数。例如,第一个参数是$1,第二个参数是$2。$#传递给脚本或函数的参数个数。$*传递给脚本或函数的所有参数。@传递给脚本或函数的所有参数。 @传递给脚本或函数的所有参数。 @传递给脚本或函数的所有参数。 * 和 @的区别 @ 的区别 @的区别 * 和 $@ 都表示传递给函数或脚本的所有参数,不被双引号" “包含时,都以”$原创 2020-07-20 14:10:40 · 1169 阅读 · 0 评论 -
Spark任务内存溢出问题脚本参数调整
Spark内存溢出修改脚本(耗费时间)调整提交参数Spark内存Driver一般不重要Executor堆内内存溢出堆外内存溢出脚本参数--master yarn \--driver-memory 4G \ #driver内存--executor-memory 30G \ #executor堆内内存--executor-cores 5 \ #executor占用核数--num-executors 10 \ #executor 个数--queue原创 2020-12-22 17:22:49 · 484 阅读 · 0 评论 -
一些常用的sql和注意事项
mysql查询表的字段和类型select column_name,column_comment,data_type from information_schema.columns where table_name='查询表名称' and table_schema='数据库名称'oracle查询表的字段和类型select A.COLUMN_NAME,A.DATA_TYPE from user_tab_columns A where TABLE_NAME='表名'hivesql原创 2020-07-13 12:36:02 · 168 阅读 · 0 评论 -
sql语句执行流程
sql执行顺序(1)from(2) on(3) join(4) where(5)group by(开始使用select中的别名,后面的语句中都可以使用)(6) avg,sum…(7)having(8) select(9) distinct(10) order by(11) limit每个步骤都会为下一个步骤生成一个虚拟表,这个虚拟表将作为下一个执行步骤的输入。第一步...原创 2020-04-09 18:20:34 · 126 阅读 · 0 评论