- 博客(32)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【问题排查】CUDA driver version is insufficient for CUDA runtime version。nvidia-smi机器名ERR
安装cuda踩的版本坑。
2022-11-03 09:54:21
1652
原创 python创建dict的方法及坑
说到在python中创建dict，我们很自然的就想到用mydict = {}，然后对其赋值。mydict = {}mydict['a'] = 123mydict['b'] = 'ping'mydict['c'] = [1,2,3]mydictOut[12]: {'a': 123, 'b': 'ping', 'c': [1, 2, 3]}但是当我们想免于一个一个手动添加的时候，坑就来了1. dict.fromkeys对于已知key来创建dict，dict.fromkeys其实是个好东西。
2022-03-15 02:31:49
3140
原创 libstdc++.so.6: version `GLIBCXX3.4.22‘ not found
做容器的时候发现，import cv2的时候会报libstdc++.so.6: version `GLIBCXX3.4.22’ not found这是因为当前版本的libstdc++.so.6缺少GLIBCXX_3.4.22.先查看当前版本的GLIBCXX：strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX发现我的GLIBCXX正好到3.4.21没了，淦解决方法：首先更新pip。pip版本不够的话会导致很多包装起来报
2022-02-19 14:51:14
2191
原创 通过.sql文件创建hive表
直接在hive的bin目录下执行：hive -f /filepath/your.sql但是直接执行的话如果你也报了这个错误：Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer;这是因为lib下的icu4j-4.8.1.jarphoenix这个包有冲突，把他mv掉重启hive就
2021-11-19 19:22:19
1108
原创 达梦 hive spark hbase phoenix相互关联查询
目的对达梦的数据通过hive/spark进行分析计算，将结果存入hbase。实际情况有两种方式可供选择：1）利用spark与dm的jdbc链接直接读取dm中的数据进行计算，但是spark与hbase无法建立映射所以数据不能直接写入hbase中；2）hive可以与hbase建立映射但是无法与达梦建立连接烦死了Solution1.通过spark与dm的jdbc连接，先把数据导入hdfs。两种：一种是全表导，一种是通过sql语句选择部分导入CREATE table tmp_spark_tableU
2021-11-02 15:03:00
1956
原创 spark复制/导入另一张外部表并添加分区
spark可以直接通过各种驱动连接其他数据库，然后将表导入spark中1.驱动将驱动放到你的spark目录下：/spark/jars，然后重启spark2. 先复制到一个临时表CREATE table tmptableUSING org.apache.spark.sql.jdbcOPTIONS ( url 'jdbc:informix-sqli://192.111.22.33:4567/DATACENTER:INFORMIXSERVER=server', driver 'com.info
2021-09-14 20:18:43
944
原创 hive无法启动Operation category READ is not supported in state standby. Hadoop报错
前几天做了个压力测试，结果hive突然无法启动查找原因发现是hadoop出了问题解决过程参考https://blog.csdn.net/u012447842/article/details/106424983 但我是小白，记录一下我的其他步骤当出现Operation category READ is not supported in state standby打开hdfs同样也出现查看overview，我的namenode的id是 namenode22，所以在hadoop/bin下执行hdf
2021-09-13 10:01:05
1105
1
原创 docker常用操作
打包docker save -o xxx.tar.gz imagexxxload docker load < xxx.tar.gz builddocker build -t xxxname .run# 先看看有没有containerdocker container ls -a # 1.如果有docker exec -it xxcontainerid bash# 2.如果没有docker run -d -it container:tag bash启动一般当出现C
2021-04-15 14:18:59
79
原创 pip的时候subprocess.CalledProcessError: Command ‘(‘lsb_release‘, ‘-a‘)‘ returned non-zero exit status 1
如题，无论是pip install还是pip list出现subprocess.CalledProcessError: Command '('lsb_release', '-a')' returned non-zero exit status 1.的时候很多人给的建议是rm -rf /usr/bin/lsb_release其实这是默认的python组件想要用python3但是lsb_release想用python2。所以除了直接删除lsb_release，直接修改lsb_release的第一行为：
2021-04-15 14:14:16
1449
1
原创 bert-serving-start: command not found
问题如图Could not find the database of available applications, run update-command-not-found as root to fix thisbert-serving-start: command not found解决方法https://github.com/hanxiao/bert-as-service/issues/194import sysfrom bert_serving.server import Bert
2021-03-31 10:11:30
1245
1
原创 python获取threading+client+全局变量的返回值
是的，就是遇到了这么个棘手的问题（也是因为我菜）要在线程里通过client调取服务器数据定时刷新，然后还要返回这个结果。但是我不是陷入import cycle就是这个没有那个的问题，最后突然灵机一动，成了感谢这位老哥的文章给予的莫大支持要想获取线程中执行方法return的返回值，就需要重新定义 threading 的类，不仅需要继承还要把我们的client放进去result是我们通过client获取到的数据，并且是一个global变量如果想要获取result的值只需通过Thread.get_r
2020-12-24 15:54:11
337
原创 mac安装maven mvn -n时报错 commond not found
下载安装maven的教程按照教程下载了maven的binary zip，安装source一条龙，结果报错 commond not found尝试了几种方法，包括加一个JAVA_HOME的路径。发现还是不行在最后的最后终于发现，原来还是M2_HOME的问题！！我把/Users写成了/User错误：正确再执行 mvn -n就成功啦所以我才发现 原来/Users/myname下的东西 和/User/myname下的东西是不一样的！！之前只是需要路径的时候隐隐预约觉得好像不太一样，但也没细看。
2020-12-03 11:12:29
335
原创 使用tree.export_graphviz实现随机森林可视化报错string index out of range
在将随机森林可视化的时候，调用tree.export_graphviz突然报错：string index out of range先训练一个模型嘛rf_classifier = RandomForestClassifier(n_estimators=n_estimators,max_depth=max_depth,criterion=criterion,max_features=max_features,bootstrap=bootstrap,max_samples=max_samples,class_
2020-10-12 18:46:06
1756
1
原创 Dataframe常用操作
每次用Dataframe的时候，各种操作想不起来，找来找去的整理一个自己常用的删除某列del data['column_name']data.drop(['winter'], axis=1, inplace=True)删除某行data.drop(data.index[[16,17]], inplace=True)
2020-09-21 12:46:02
184
原创 【解决】mac pycharm里找不到conda创建的环境
问题新建了环境conda create -n new_env python=3.7在anaconda navigator里能切换并且启动jupyter notebook。但是到pycharm里就找不到了之前的时候我创建好环境在pycharm的Conda Environment里就可以直接显示，但是更新anaconda失败甚至完全打不开任何jupyter notebook，卸载anaconda重装之后，他就不能自动找到新建的环境了。解决进入环境$ conda activate new_en
2020-08-20 09:57:40
6052
2
原创 Github项目被fork后如何删除
因为同事不小心将公司核心代码上传至Github，并且还是public repo，本来及时删除就行，但万万没想到已经被人fork了。所以我，帮他收拾烂摊子，就也掌握了一项新的技能——Github项目被fork后如何删除写此文的目的是想帮助以后万一有如此紧急需求的同僚们，按照此文的步骤来，就可以省去一些走弯路的时间。甚至如果并行的话，可以省去更多的时间……多找几个人来帮忙吧……1. 私信/留言给fork的人要知道一定是他本人删除最快！GitHub要走审核流程，少则三天，多则十天半个月，到底要多少个fork
2020-08-18 00:20:18
6046
3
原创 github查找某人的邮箱
在网上找了很久，找到3种方法，根据不同的情况，自行选择使用。1. 知道对方的github名字就行kruton换成你要查找那个人的name就可以2. 这个人有commitstep1 到他的主页查看哪个repository不是fork的step2 点开项目，查看commit信息，有的版本commit是在右边step3 在commit的信息里，找到这个人，然后点击右边的那串标识数字step4 点开那串标识数字会出现如下界面，在url后面加.patch然后他本人的邮箱就会显示在这里
2020-08-14 12:37:00
12364
2
原创 关于tar压缩文件放到docker里会带有本地路径的问题
假设要被压缩的文件夹images在/Users/name/下，我现在希望把它打包到/Users/name/Desktop/docker下。发现不同的tar，在创建镜像的时候竟然会有不一样的结果。cd docker如果我打开terminal一直cd到docker里，然后执行下面的命令tar -zcvf images.tar.gz /Users/name/imagesimages.tar.gz确实直接在docker这个文件夹下了，然后我们直接build的话，镜像里images并不是直接解压到工作路径，
2020-07-21 18:56:12
703
转载 Numpy里axis的理解
原文https://www.cnblogs.com/cupleo/p/11330373.html在numpy中数组都有着[]标记，则axis=0对应着最外层的[]，axis=1对应第二外层的[]，以此类推，axis=n对应第n+1外层的[]。下面开始从axis=0，axis=1这两个例子开始，深入透彻的理解numpy中axis的用法。axis = 0表示对最外层[]里的最大单位块做块与块之间的运算,同时移除最外层[]：a= np.array([1,2,3]) a.sum(axis = 0)&
2020-07-20 10:26:03
170
原创 关于创建docker时import cv2失败
在创建docker时，尽管在requierements.txt里写了要安装opencv-python，但在运行程序时总会报错：ImportError: libSM.so.6: cannot open shared object file: No such file or directory网上的办法确实可行第一种：apt-get第二种：python-qt4但如果我们是想在创建镜像时就想把libsm6导进去呢，这样docker就可以直接用了，只需要在Dockerfile里添加两句：RUN apt
2020-07-14 14:14:49
799
原创 docker打包问题整理
写好了程序，打算创建镜像的时候，首先要确定自己需要什么包。最好的办法是创建一个新的、空的虚拟环境，然后把代码导进去，看需要什么包就install什么，直到没有红色波浪线为止。最后在虚拟环境下pip freeze就知道自己需要的所有东西啦所以这也就提醒我，以后每写一个新的项目时，最好重新建一个新的虚拟环境，不要每次都在base上。好的，那么接下来说如何打包吧～首先确定自己要什么基础镜像我本次遇到的问题顺序大概是：先去docker hub上搜了一个tensorflow，看他后面写的Ubuntu，虽然
2020-07-10 16:33:58
693
原创 从hdfs读取image文件
发现从hdfs直接读取image文件response = Image.open(filepath)会报错路径不存在，出现这个问题是因为PIL的Image.open(filepath)只能打开本地路径里的文件，不能打开hdfs里的。所以要从hdfs读取，还是要用client那一套。response = client.hdfs_client.open(filepath)response读进来的是二进制文件，所以要再组合成ndarrayimage_arr = cv2.imdecode(np.frombu
2020-07-09 20:28:08
830
原创 tensorflow学习笔记
tf.keras.utils.get_file直接从URL下载资源TRAIN_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/train.csv"TEST_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/eval.csv"train_file_path = tf.keras.utils.get_file("train.csv", TRAIN_DA
2020-06-29 14:02:02
100
转载 autokeras查询贴
AutoKeras 导出模型，训练中断与恢复https://blog.csdn.net/devmole/article/details/88029660Autokeras模型的导出与导入https://autokeras.com/tutorial/export/https://blog.csdn.net/weixin_44121197/article/details/107013550
2020-06-29 09:54:25
136
原创 AutoKeras模型的导出与导入
网上之前用export_autokeras_model()现在好像用不了了。官方已经优化了他的导出：model = clf.export_model()try: model.save("model_autokeras", save_format="tf")except: model.save("model_autokeras.h5")from tensorflow.keras.models import load_modelloaded_model = load_model
2020-06-29 09:34:53
580
转载 conda常用指令
1.创建新环境conda create -n 环境名 python=3.62.删除一个环境conda remove -n 环境名 --all3.重新命名的方法conda create -n 新环境名 --clone 旧环境名conda remove -n 旧环境名 --all3.进入(激活)、退出虚机环境windows下activate 虚拟环境名linux或OS下source activate 虚拟环境名deactivate3.查看虚拟环境conda env list 
2020-06-28 14:42:02
70
原创 mac上autokeras安装（配了第六次终于成功了）
小白，啥都不会。总结一下autokeras安装过程中遇到的问题Python版本看网上基本说autokeras只支持python 3.6，但是我的是3.7。如果你也有这个问题千万不要再去想着用pyenv切换语言了，直接建虚拟环境。创建虚拟环境建立虚拟环境的时候，我本身就有anaconda所以直接用了，没有的话还可以用miniconda。从anaconda的navigator直接创建一个environment也是非常痛苦，所以还是从terminal来吧假设我们的环境名字就叫autokeras_e
2020-06-22 11:30:48
297
原创 使用dataframe时遇到的问题
首先导入pandasimport pandas as pd创建一个dataframe可以用已有的dict直接创建，也可以先用list存储好数据再用list创建用dict创建 >>>dic1 = {'name': ['David', 'Bob'] 'age': [18, 20] 'gender': ['Male', 'Male']}df1 = pd.DataFrame(dic1)用list创建 >>>list1 = ['A','B','C']l
2020-06-20 00:39:14
653
转载 python read()，readline()，readlines()
每种方法可以接受一个变量以限制每次读取的数据量，但它们通常不使用变量。.read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容最直接的字符串表示，但对于连续的面向行的处理，它却是不必要的，并且如果文件大于可用内存，则不可能实现这种处理。.readline() 和 .readlines() 之间的差异是后者一次读取整个文件，像.read() ...
2020-04-14 22:04:57
92
原创 mac feedparse安装
新换了mac，《机器学习实战》到第四章使用朴素贝叶斯分类器从个人广告中获取区域倾向的示例时需要使用feedparse。发现安装过程中出现些问题，而且网上都是windows的安装教程，所以统一整理一下mac的。跟着官网步骤走：Ensure you can run pip from the command lineexit()curl https://bootstrap.pypa.io/...
2020-02-16 21:58:58
178
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人