其它
一些踩坑的记录
pub.ryan
专注于大数据
展开
-
归因分析模型
在数据时代,广告的投放效果评估往往会产生很多的问题。而归因分析(Attribution Analysis)要解决的问题就是广告效果的产生,其功劳应该如何合理的分配给哪些渠道。一、什么是归因分析?在复杂的数据时代,我们每天都会面临产生产生的大量的数据以及用户复杂的消费行为路径,特别是在互联网广告行业,在广告投放的效果评估上,往往会产生一系列的问题:哪些营销渠道促成了销售? 他们的贡献率分别是多少? 而这些贡献的背后,是源自于怎样的用户行为路径而产生的? 如何使用归因分析得到的结论,指.原创 2020-12-21 15:54:24 · 1684 阅读 · 0 评论 -
git:Clone failed: git: ‘permission denyed‘及Clone failed: git: ‘remote-https‘ is not a git command.
在centos中1、Clone failed: git: 'permission denyed' , Could not read from remote repository.问题原因:git没有设置公钥时,将git的帐号(邮箱)生成ssh keyssh-keygen -t rsa -C "1901908199@qq.com"根据提示,找到/root/.ssh/id_rsa.pub将其中的内容填写到Gitee账号中的公钥中安全设置中-SSH公钥,添加公钥,标题随便填..原创 2020-12-03 13:15:01 · 5545 阅读 · 1 评论 -
centos自动登录帐号设置
使用root账户进入系统:vi /etc/gdm/custom.conf在[daemon]下写入:AutomaticLoginEnable=TrueAutomaticLogin=root重启系统之后可以直接进入root账户。原创 2020-11-29 14:42:21 · 612 阅读 · 0 评论 -
spark报错:ERROR SparkContext: Error initializing SparkContext.
今天刚好spark history server 配好,就出现了这个错误:ERROR SparkContext: Error initializing SparkContext.最后一再仔细看,才发现是spark conf下的spark-defaults.conf文件中的错误,把hdfs搞错了,正确的应该是:spark.eventLog.dir hdfs://linux01.pub:9000/spark-logs...原创 2020-11-28 16:38:42 · 3391 阅读 · 0 评论 -
vim常用命令总结
在命令状态下对当前行用== (连按=两次), 或对多行用n==(n是自然数)表示自动缩进从当前行起的下面n行。你可以试试把代码缩进任意打乱再用n==排版,相当于一般IDE里的code format。使用gg=G可对整篇代码进行排版。vim 选择文本,删除,复制,粘贴 文本的选择,对于编辑器来说,是很基本的东西,也经常被用到,总结如下:v 从光标当前位置开始,光标所经过的地方会被选中,再按一下v结束。V 从光标当前行开始,光标经过的行都会被选中,再按...转载 2020-11-27 12:09:58 · 211 阅读 · 0 评论 -
mysql启动失败:Redirecting to /bin/systemctl restart mysql.service Failed to restart mysql.service: Unit
今天出现一个小问题:[root@linux01 hive3.1.2]# service mysql startRedirecting to /bin/systemctl restart mysql.serviceFailed to restart mysql.service: Unit not found.排除过程:1、检查mysql还在吗?[root@linux01 hive3.1.2]# whereis mysqlmysql: /usr/local/mysql /usr/l原创 2020-11-27 10:43:30 · 22730 阅读 · 8 评论 -
linux 创建链接的两种方式
1、正常链接ln 完整地址 快捷名称2、软链接ln -t 完整地址 快捷名称原创 2020-11-25 22:39:34 · 282 阅读 · 0 评论 -
转-请求与响应的Header
转自:https://blog.csdn.net/u011435776/article/details/802495601)请求(客户端->服务端[request])GET(请求的方式) /newcoder/hello.html(请求的目标资源) HTTP/1.1(请求采用的协议和版本号)Accept: /(客户端能接收的资源类型)Accept-Language: en-us(客户端接收的语言类型)Connection: Keep-Alive(维护客户端和服务端的连接关系)Host: lo原创 2020-10-16 06:52:27 · 256 阅读 · 0 评论 -
I/O流中的BufferedXXXStream与DataXXXStream、ObjectXXStream
1、通过两张图快速看一下IO流中的一些基础知识通过上述的图,我们知道实际开发中都是用Bufered流来对基本的流进行包装,加快读写速度(一次8K缓冲),减少频繁对IO进行存取操作,提升效率。但在实际开发中,我们需要提前定义一个byte数组来接收或读取一次的读入数据,然后再一块一块的读取或写入文件中,针对某些二进制类型如BLOB的数据或文件比较占优势,但针对一些需要写入或读取时带类型的数据时就需要频繁进行数据转换,既麻烦又不太适合,当然,我们也可以考虑直接用序列化来进行对象持久化存储,但序列化的文原创 2020-10-06 11:32:03 · 300 阅读 · 0 评论 -
反射:反向调用分离业务
如果我们想要使用Person类,除了可以用new Person直接对其进行使用外,还可以不通过new直接使用其中所有的内容:1、从所有构造方法中直接拿到它的构造方法,包括私有注意:所有的类必须有私有构造 第一种:直接调用无参构造 Class<?> clazz = Class.forName("com.doit.reflect.Person"); //直接调用默认构造方法 Person p = (Person)clazz.newI原创 2020-10-05 17:20:52 · 128 阅读 · 0 评论 -
利用线程池上传文件到到服务器中
对于上传文件的多线程程序,客户端不存在多线程,主要是服务器需要利用线程池,思路:1、客户端上传程序编写 建立连接,利用tcp套接字 读取本地流,即待上传的文件,优先使用高效流 读取文件数据并写入到tcp流中 上传完成后断开tcp流,避免服务器一直等待 接收服务器端返回信息,并完成上传任务 Socket socket = new Socket("192.168.0.103", 9000); BufferedInputStr原创 2020-10-05 13:34:55 · 972 阅读 · 2 评论 -
Java中的不可变集合与使用场景
Jdk中的Collections.unmodifiable与使用场景:你去购物时被人偷偷往你购物车里丢了东西解决方法:不可变集合:Collections.unmodifiableXXX场景:你去购物时被人偷偷往你购物车里丢了东西需求:我们的需求是只有在创建对象(学生)时,才能设定ta的课程,所以我们在设计类时,只用了get方法即:public List getCources() {return cources;}并未给ta setCources的权限,就是不希望外部程序可以在任何拿到学生对原创 2020-09-25 12:29:10 · 1061 阅读 · 0 评论 -
idea开发中最常用快捷键收集
1、常用快捷键窗口结构:alt + 7 显示在右边窗口 小窗口看结构:ctrl + f2 显示在小窗口中 查看类层次及使用:ctrl h 后再按ctrl b 快速找文件或类:shift shift 快捷发命令:ctrl shift a 提取方法:ctrl alt m 提取变量:ctrl alt v 快速格式化:alt f 看最近查看编辑过的文件:ctrl e 或看明细 ctrl shift e 文件切换:ctrl tab 智能补全:ctrl shift enter 提示当...原创 2020-11-17 15:41:39 · 87 阅读 · 0 评论 -
idea中scala的类型自动补全与关闭:Type Annotations
初学时建议全部打开,知道当前操作的是什么类型的数据,帮助更好理解打开路径:Settings->Editor->Code Style->Scala->Type Annotations将所有选项全选即可。关闭只需要全部去掉勾选,即可体验更简洁的代码...原创 2020-11-12 21:58:27 · 2219 阅读 · 1 评论 -
运行spark时不使用框架中默认提供的大量log4J日志输出
如spark开发时,我们在未作配置时运行程序会出现大量的log4J的信息,若不想显示,可以代码开始加入:Logger.getLogger("org").setLevel(Level.WARN)import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSession//读取存入的parquetobject ReadParquet { def main(args: Array[String]): U.原创 2020-11-11 22:24:26 · 365 阅读 · 0 评论 -
错误:no implicits found for parameter evidence$6: Encorder[String]
原因:直接利用Dataset操作map时报错代码:package pub.ryan.dw.pub.ryan.dw.idmpimport org.apache.spark.broadcast.Broadcastimport org.apache.spark.graphx.{Edge, Graph, VertexId, VertexRDD}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.Datasetimport p..原创 2020-11-11 13:28:46 · 742 阅读 · 0 评论