- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Knative安装的坑
对于kourier网络，把类型改为loadbalancer，外部的ip是kourier节点所在ip。对于istio的网络，需安装一个负载均衡器Metallb。
2023-04-20 13:34:25
125
原创 python提取xml文档内容
<OvenZoneTemperatureDatas> <OvenZoneTemperatureData> <Time>2022-04-15 15-05-55</Time> <OnZone>1</OnZone> <Data>128.9</Data> </OvenZoneTemperatureData> <Oven.
2022-05-09 15:24:46
275
原创 spark on yarn container被kill
一个Executor对应一个JVM进程。 从Spark的角度看，Executor占用的内存分为两部分：ExecutorMemory和MemoryOverhead。其中，ExecutorMemory为JVM进程的Java堆区域，MemoryOverhead为JVM进程中除Java堆以外占用的空间大小，包括方法区（永久代）、Java虚拟机栈、本地方法栈、JVM进程本身所用的内存、堆外内存（Direct Memory）等。spark.driver.memory 和spark.executor.memory 分别
2022-03-24 09:28:04
1902
原创 做实验随写 21/12/29
1.参数设置前注意有没有冗余，比如executor_memory和executor_num是由制约关系的，相乘不能大于totol_memory2.totol_memory，totol_core应该设置死，充分利用集群资源，没必要调3.RL由一定的适应能力，这是出乎意料的4.CDBtune跑的几个效果都不错，原因应该在于奖励函数的取值范围在{-10,10}，可参考...
2021-12-29 20:34:54
123
原创 ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.al
数组维数的问题，通常是一整个数组和一个值比较了
2021-11-22 11:02:25
158
原创 当网络中有BN层时强化学习选择动作时的处理方式——eval()
在训练网络时，加了BN层，所以在训练时，需要用model.eval()固定住BN，此时用的是历史的mean和var强化学习在做choose_action时，单条数据进神经网络，容易出现错误RuntimeError: running_mean should contain 1 elements not ***”这里需要把s加一个维度，变成二维s = torch.unsqueeze(torch.FloatTensor(s), 0)此时的s长这样tensor([[1.,2.,3.]])进
2021-11-22 10:58:11
1157
原创 查看整个集群的JPS脚本
放在全局路径下 比如可以和hadoop的脚本放一起hadoop/sbinjpsall.shfor i in wyl1 wyl2 wyl3do echo "================ $i ================" ssh $i "'$JAVA_HOME/bin/jps'"done得到================ wyl1 ================36080 NameNode
2021-11-16 22:47:18
1307
原创 HDFS命令
1.查看目录下的文件列表hdfs dfs -ls /ops2.上传文件hdfs dfs -put 1.txt /ops3.文件被复制到本地系统中hdfs dfs -get /ops/1.txt /data/work4.删除文件或目录hdfs dfs -rm /ops/1.txt hdfs dfs -rmr /ops5.查看文件内容hdfs dfs -cat /ops/1.txt6.建立目录hdfs dfs -mkdir -p /ops/20161201...
2021-11-16 10:16:18
761
原创 创建本地集群的一些坑
bin/workloads/micro/wordcount/prepare/prepare.sh报错patching args=/usr/bin/env: ‘python2’: No such file or directory/home/wk/sd_hibench/spark/spark-rl-test/hibench/bin/functions/workload_functions.sh: line 38: .: filename argument required.: usage: . f
2021-11-14 12:01:31
2551
原创 TD3出现 Trying to backward through the graph a second time
错误提示调用了两次backward，但明明两个critic网络是独立的，为什么会出现这个问题呢 q_v1 = self.Critic1_eval(bs, ba) td_error1 = F.mse_loss(q_target, q_v1) self.ctrain1.zero_grad() td_error1.backward() self.ctrain1.step() q_v2 =
2021-10-28 10:30:47
119
原创 Centos7开机启动出现错误Entering emergency mode. Exit the shell to continue.
虚拟机断电强制关机，无法开启journalctl 是查看系统的日志信息我是XFS(dm-0)出现问题 红色输入命令：xfs_repair -v -L /dev/dm-0reboot
2021-10-10 10:08:24
646
原创 hadoop操作出大事
Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working directory.https://www.jianshu.com/p/2fde829a0555
2021-09-15 21:47:49
82
原创 ansible ValueError: Invalid type provided for “string“:
include_vars变量写入文件时候出现了ValueError: Invalid type provided for “string”:确实很恶心，找了一个晚上都没发现原因。原则上本身没有问题。果然检查下整个playbook定义的变量，我变量重叠了。
2021-09-15 12:24:52
281
原创 You are using pip version 21.1.2； however, version 21.2.4 is available.
python -m pip install --upgrade pip -i https://pypi.douban.com/simple
2021-09-08 20:55:29
94
原创 spark on yarn
spark on yarn8088窗口看yarn uiclick here1调整了这些文件，加了一些history application信息。不过点击application访问不了。wc任务执行时间巨长，也没法看log。以前的spark.conf配置好像没有起作用 要重启？2还有hibench下spark.conf的 hibench.spark.master yarn3Spark.env.sh export YARN_CONF_DIR=${HADOOP_HOME}/etc/hado
2021-08-11 22:22:23
66
原创 虚拟机安装pycharm
https://blog.csdn.net/qq_44749796/article/details/105606087
2021-06-04 19:12:15
1010
1
原创 虚拟机20G容量不足问题----删一些东西
跑任务的时候，报错剩余空间不足，看了一些东西。hdfs上Non DFS Used:占了十几G，而DFS Remaining:只有几百兆，任务直接跑不了，一开始想扩容，可是跟着网上教程新加磁盘容量挂载到了/disk，可是我的东西全在/home下，挂到/home直接覆盖了。也不知道怎么弄了。再一想我机子也就spark hadoop和hibench，没道理20个G放不下，看了下文件大小du -h查看本目录下的文件大小 发现问题在spark上 spark/work居然占了11G他的作用是：使用spark
2021-06-03 15:10:17
463
原创 用了一段时间，虚拟机不能相互ping通---ip地址过期
虚拟机1能ping通2，2ping不通1但1能ping通baidu，ping来ping去突然发现一个陌生的ip地址，从137->140就是他自己，百度了下是NAT的ip地址过期，自动修改了好家伙修改了etc/hosts etc/ansible/hosts两个地方
2021-06-01 23:02:30
253
原创 hibench安装可能出现的错误
Found binding in [jar:file:/home/wk/sd_spark/spark/spark-bodropout-test/spark/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/wk/sd_hadoop/spark/spark-bodropout-test/hadoop/share/hadoop/common
2021-05-31 20:45:42
387
2
原创 [yarn] 2.2 GB of 2.1 GB virtual memory used. Killing container
在运行hibench用例wordcount时出现虚拟内存超出错误，详细日志在/hibench/report/wordcount/spark/bench.log中错误原因是进程需要的虚拟内存超出自己的虚拟内存增加虚拟内存比例增加内存减少job内存修改/hadoop/etc/hadoop/yarn-site.xml配置<property> <name>yarn.nodemanager.vmem-check-enabled</name>
2021-05-16 14:06:21
225
原创 覆盖equals要覆盖hashcode
Equals与==相同，对于基本数据类型，==比较值；equals无效；对于引用类型，都是比较地址，比如string类对equals进行了重写，比较值公约：覆盖equals要覆盖hashcode否则导致该类无法结合所有基于散列的集合正常工作；比如我们对象存在hashmap里，通过key算出hashcode找到链表，然后用equals比较值是否相等；if没重写hashcode，第一步就出错，因为hashcode是根据对象地址得到的。If没重写equals，找到了链表却没法比较相同的值，因为equals是
2021-03-23 19:02:25
37
原创 Automatic Database Management System Tuning Through Large-scale Machine Learning
记录下读的第一篇论文-2021.3.19Part1 关于论文本文提出了一种机器学习调优数据库参数的服务。基于c/s的模式，针对不同的调优需求（如文中的吞吐量，时延）选择不同的datasets进行训练，它们都是与当前工作负载最相似的历史数据，为用户“量身定做”最优配置。并保存该优化数据，让以后的模型更精确。Part2 收获学习了针对大量参数降维的方法，本文使用因子分析和K-Means聚类选择出了代表性的指标，再通过Lasso回归减少了无关量的影响，得到了指标的重要性排序。在数据库的几百个metrics
2021-03-19 22:21:06
277
原创 hive分区表插入规则
先建立临时表，先导入。因为上传数据时没有办法直接分区create table movietemp(id int,area string,name string)row format delimited fields terminated by ',' stored as textfile;load data local inpath '/root/movies.txt' into table movietemp再建立分区表，用area地区字段分区create table movie(id i
2021-02-26 15:38:43
1890
原创 Spark读取文件Input path does not exist问题
Spark的sc上下文路径默认从当前部署环境中查找，在Hadoop下用sc.testFile("input")不能读到spark文件下的input如需从本地读取，用特殊写法file:///opt/bigdata/spark/input
2021-01-05 21:01:50
4398
2
原创 Spark groupByKey后组内排序的写法
val rdd=lines.map(_.split("\t")).map(t=>(t(0),(t(1),t(2).toDouble))).groupByKey() .map(t=>(t._1,t._2.toList.sortBy(_._2)))
2020-06-11 15:07:25
1294
1
原创 多个列表从后台给ajax的解决方案
常用于从数据库查出某字段的集合给前端做echart图表分析为了节约开销，在一个控制器中查出所有需要的集合并放在一起以字符的形式传到前端@ResponseBody @RequestMapping(value="showchart/{Userid}") public String Showchart(@PathVariable("Userid") String Userid) { String s=""; int userid=Integer.parseInt(Userid); Archi
2020-06-01 14:47:59
148
原创 查询出的列表Date日期转成String时间
太正常的一个需求了，半天查不到解决方案。想到几点1. 在查询出来后用iterater遍历修改时间但由于实体类中的time就是date类型，对于想重写入settime无法操作Iterator<Archive> i=list.iterator();SimpleDateFormat timeformat = new SimpleDateFormat("yyyy-MM-dd");Archive archive;while(i.hasNext()) {archive=i.next();ar
2020-05-31 22:44:33
492
原创 ajax接受数据发生错误json
ajax写了一个简单的demo，返回是否验证成功yes/nocopy了其他的ajax代码块，报了这个错 $.ajax({ type:"post", url:"login.do", async:true, dataType:"json",//此处有错 data:$('#logininfo').serialize(), success: function(data){ if(data=="ok"){
2020-05-29 18:54:35
179
原创 C语言里的整数类型转换和unsigned
c语言里有三种整数类型，short int long，考虑32位的系统short占16位，int为32位，long在32位的机子和int一样，64位操作系统扩展为64位；所以一般的int能存储的数字最大为2^32-1 (0不算)在一些oj平台上，int可能上溢，可以用long或者long long对于上述的类型，存储的都是有符号数，最高位即符号很多时候，题目中是没有负数情况的,所以可以加...
2020-04-26 22:50:50
664
原创 echarts地图绑定省份点击和悬浮事件转跳指定方法
1.鼠标悬浮：地图自带的tooltip自动触发事件tooltip : { trigger: 'item', formatter: function(params){ if(params.name=="浙江"){ alert("zju"); } return params.name+"<br/>"+params...
2020-04-15 20:30:40
2470
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人