zerogin+-CSDN博客

原创将关系型数据库中的数据通过dataX传至HDFS上遇到的问题

因为我没有hadoop集群，我只有hadoop节点，也还没有部署伪分布，所以才会出现datanode为空的结果，所以我将伪分布式部署成功之后就可以了。只能被复制到0个节点，而不是最小复制数（=1）。目前有0个数据节点正在运行，并且在此操作中没有排除任何节点。

2024-07-17 18:32:10 308

原创大数据环境配置-Hadoop、Kafka、Hive、redis、Navicat

本文目的主要是理清逻辑，整理相关概念，主要为了知其所以然，会附上本人实践过程参考的文章以及本人踩的一些坑。Kafka可以用于实时数据流的收集，然后将数据存储到Hadoop集群中；Hive可以用于对这些数据进行查询和分析；而Zookeeper则可以用于这些组件之间的协调和状态管理。

2024-07-15 17:09:54 558

原创记录第一次跑深度学习

参考以上文章的对应关系即可，需要注意显卡驱动的确定还要根据显卡，不仅仅只是根据cuda版本。1.根据我的显卡选择cuda版本，试试能不能跑包成功，实际上大概率都是不行的，毕竟项目当初的版本都太低了。但实践此想法的过程学习到了很多，（3)下载anaconda，在里面创建对应python版本的虚拟环境，然后在环境内下载相应版本的pytorch等。（待更，目前虚拟环境中安装cuda 10.0没成功，说找不到channel，待我解决再回来)，例如pytorch1.12，cuda10.0，而我的显卡RTX4060。

2023-08-26 21:21:12 135

原创第一个项目总结：双目测距（python代码转为c++代码，最终输出点云图，再转为ros点云图，再实现可视化）

目的：为左图中的每一个像素点在右图中找到其对应点（世界中相同的物理点），这样就可以计算出视差：disparity = u_{l}-u_{r}（u_{l}和u_{r}分别是两个对应点在图像中的列坐标。opencv在ubuntu下是通过调用早已编译好的动态链接库.so文件来生成程序的，通过g++ 的编译控制选项也许可以制定编译器的查找路径。因为我的参数直接放入main函数内，所以我这一步不再读取参数，整个立体校正过程我也直接放入main函数内。1.cv::viz::Viz3d::spin()’未定义的引用。

2023-06-04 00:42:31 1824 2

原创 opencv文件夹以及配置环境

想要在任何目录下使用opencv，需在cmake之前将opencv的build目录添加到环境变量。/usr/local/share/opencv4 - 其他文件（例如 XML 格式的训练级联）续：在build目录下安装后（sudo make install)后，/usr/local/cmake/opencv4 - cmake 包。/usr/local/include/opencv4 - 头文件。/usr/local/lib - lib (.so) 共享库。/usr/local/bin - 可执行文件。

2023-06-02 10:06:36 779

原创记下载python、pycharm连接数据库sql server

所以自己权衡选择哪种，我都试过，一开始我下的是python3.10,实在解决不了，我又去下了python3.5，但是又遇到问题：3.5版本pip说要升级，升级说升级不了（无大语）。我最后的解决办法就是，不下pymssql这个模块，我pip install pyodbc成功了。建议选专业版，网上很多激活码的，社区版少了很多东西，例如数据源就没有，然后去新建还没有，要去文件->设置->插件那里去下database navigator。文件->设置->python解释器->添加解释器如下图。

2023-05-31 20:13:09 507 1

原创 sql server创建数据库时显示无法创建列出的某些文件名。请查看相关错误的错误

可以通过鼠标右键点击数据库创建数据库——查看里面的默认路径——复制到我们create database里。利用sql语言create database时，选择数据文件的路径，就是这一步！

2023-03-13 20:24:06 2716 1

m0_72791092的博客