小赖同学啊
这个作者很懒,什么都没留下…
展开
-
anaconda环境安装pytorch(实际上还是pip安装的)
win11是在桌面右键,点击“显示设置”,点击左边选择“系统”选项,选择右边的“系统信息”选项,“高级系统设置”-“高级”-“环境变量”-“系统变量”-”path”-“编辑”-“新建”,把相关内容加进去。cuDNN不是一个安装软件,就是三个最新的文件夹,替代cuda里面的文件,下载,复制,粘贴到cuda安装目录即可。首先系统支持的cuda,打开nvidia控制面板,点击左下方的“系统信息”,点击“组件”,显示版本是“12.1.112”。安装完成后,大部分需要手动添加环境变量,方便检测是否安装成功。原创 2024-07-02 16:26:54 · 45 阅读 · 0 评论 -
PyTorch 版本与 CUDA 版本的兼容性示例
请确保你的 PyTorch 版本与你的 CUDA 版本兼容。如果你需要使用特定的 CUDA 版本,建议安装与之兼容的 PyTorch 版本,以确保顺利使用 GPU 加速功能。你可以在 PyTorch 官方文档中查找特定版本的 CUDA 兼容性信息,以确保你选择的 PyTorch 版本支持你的 CUDA 版本。原创 2024-06-27 17:46:07 · 397 阅读 · 0 评论 -
win环境下启动kafka Port already in use: 6688; nested exception is
zk启动成功后,接下来启动kafka,再启动kafka后一直说端口被占用。图中jmx_port是问题的引发点,我直接注释掉,后启用zk和kafka后,除。后来修改了批处理文件kafka-run-class.bat中的以下地方。杀掉后,再次启动kafka时,问题并未解决。并成功启动zk和kafka。原创 2023-12-18 16:51:03 · 588 阅读 · 0 评论 -
新版kafka可视化界面组件
但是因为项目是Springboot写的,docker部署的,如果添加集群可以重建docker容器,或者修改配置文件,重启容器,具体可以查看项目github说明,因为我没有用配置文件,这里没有详细介绍。连接SSL认证的kafka需要额外添加如下四个环境变量,其中KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION变量指定的配置文件需要时在配置ssl时候提前生成的,如果需要做SSL认证,和生成证书,可以参考我写的这篇文章。连接带认证的kafka集群。原创 2023-09-19 15:45:01 · 842 阅读 · 0 评论 -
docker遇到的问题
解决办法:改成这样就行。原创 2023-08-18 18:19:36 · 789 阅读 · 0 评论 -
opencv初探
以上代码中引用的函数还需深度探索,比如那个参数是修改和设置啥的。下面介绍opencv常用操作。传送opencv官方中文教程。1.安装opencv。原创 2023-07-02 17:24:06 · 527 阅读 · 0 评论 -
大数据测试知识,并将附送传送门。这都是干货,一点都不湿
例如:上传.doc;对于小流量服务的测试方案是通过http请求来构造日志数据,结合grafana对http请求数的监控来实时获取实际产生的日志数据,然后对比日志检索服务搜索出来的数据,通过这样的方式来验证检索数据的正确性。数据采集过程中的数据验证和数据清洗:在采集数据的过程中,可以使用数据验证技术来确保数据符合规范和要求,并且清洗掉不合法或者错误的数据。数据管理和治理:建立数据管理和治理的规范和流程,确保数据的质量和可靠性,包括数据质量标准、数据访问权限、数据更新、数据备份等。原创 2023-06-18 18:23:32 · 300 阅读 · 0 评论 -
数据分析-----------numpy 学习
import numpy as nun1=nu.array([0,2,5,6,8])n2=nu.arange(5)# print(n1*2+n2*4)# print(n1[2:])print(n1.max())print(n1.min())print(n1.sum())a = nu.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], .原创 2021-01-23 17:35:09 · 103 阅读 · 0 评论 -
大数据开源项目 remark
电信大数据项目以通话数据去展示如何处理并分析大数据,并最终通过图表可视化展示。github地址:https://github.com/LittleLawson/ChinaTelecom基于Spark的电影推荐系统https://github.com/LuckyZXL2016/Movie_Recommend类似于国内豆瓣网站,能够在该项目-电影网站-进行电影信息浏览和查询,并且-电影网站-会根据用户的 浏览记录和用户评论,点赞(好看)等操作 给用户进行实时的电影推荐(Spark)htt原创 2021-01-11 13:57:59 · 425 阅读 · 0 评论 -
python 数据分析练手
import matplotlib.pyplot as pltplt.plot([1,2,3],[4,5,3])plt.show()import pandas as pdimport numpy as nppf=pd.DataFrame(3*np.random.rand(5), index=['a','b','c','d','e'],columns=['x'])pf.plot.pie(subplots=True)import matplotlib..原创 2020-10-16 17:32:31 · 213 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform... using builtin-java classes where applicab
情景:安装hadoop后启动运行HDFS报错:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable其实hdfs正常运行,各节点namenode和datanode等都正常运行的。但是就是有警告...原创 2019-06-24 11:47:15 · 6559 阅读 · 0 评论 -
CDH环境搭建
准备条件:1.jdk2.mysql3.ssh免密登录4.关闭防火墙开始:1.解压安装包:tar -zxvf /安装包路径 -C /到目标位置2.下载CDH支持Pacle3.将数据库驱动放到cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar...原创 2019-05-21 11:06:55 · 242 阅读 · 0 评论 -
HBASE的全分布
前置条件:安装的jdk 启动了hahadoop 以及zookeeper 且配置好了对应环境变量HBase全分布环境(注意:这里需要Java的版本在1.8以上)1.下载HBase安装包可以从上面的安装介质链接中下载HBase安装包,或者去HBase官网hbase.apache.org下载最新HBase安装包,然后使用WinSCP工具将下载好的安装包上传至master节点的/usr/loc...原创 2018-12-25 09:29:53 · 328 阅读 · 0 评论 -
使用sqoop遇倒的问题集锦
1.使用sqoop的简单命令sqoop list-tables --username root --password '' --connect jdbc:mysql://192.168.27.132:3306/hello?characterEncoding=UTF-8 //查询数据的表sqoop create-hive-table --connect j...原创 2019-01-03 19:04:40 · 339 阅读 · 0 评论 -
linux centos下安装docker
1.在vm中装好好centos后,更新内核 运行docker需要内核版本为3.8或者更高的版本,内核必须支持一种合适的存储驱动(Drivice Mapper、AUFS、vfs、btrfs、ZFS),默认存储驱动为Drivice Mapper或AUFS且内核必须开启cgroup和namespce功能. uname -r可以查看内核版本. 内核升级2.安装docker 安装...原创 2018-12-17 19:56:01 · 633 阅读 · 0 评论 -
hadoop基本操作
第一节:HDFS的相关命令 -mkdir 在HDFS创建目录 hdfs dfs -mkdir /data -ls 查看当前目录 hdfs dfs -ls / -ls -R 查看目录与子目录 -put 上传一个文件 hdfs dfs -put d...原创 2018-10-31 14:36:13 · 1367 阅读 · 0 评论 -
搭建Spark的伪分布模式环境
搭建Spark的伪分布模式环境 1、解压:tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C ~/training/ 2、配置参数文件: conf/spark-env.sh export JAVA_HOME=/root/training/jdk1.7.0_75 export SPARK_MASTER_HOST=big...原创 2018-11-05 19:24:02 · 691 阅读 · 0 评论 -
linux spark 安装步骤
1.统一添加到环境变量 vim /etc/profile 以及 source /etc/profile2.进入到spark的安装路径的conf文件中 使用cp spark-env.sh.template spark-env.sh3.vim spark-env.sh 添加如下内容:export JAVA_HOME=/home/app/jdk1.8.0export HADOOP_...原创 2018-11-30 15:48:05 · 576 阅读 · 0 评论 -
hadoop 伪分部环境搭建步骤以及设置
新消息 !!!这里可以下载大数据生态圈的任何一个框架http://archive.apache.org/dist/http://archive.cloudera.com/cm5/cm/5/操作系统环境:CentOS Linux release 7.0.1406(Core) 64位CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙步骤。1、关...原创 2018-11-28 16:34:51 · 166 阅读 · 0 评论 -
Hbase 伪分布环境的搭建
1.前面统一配置 不多说 单说hbase的配置文件2.hbase.env.shexport JAVA_HOME=/home/appspath/jdk #jdk的安装环境export HADOOP_HOME=/home/appspath/hadoop-2.7.3 #hadoop的安装环境export HBASE_HOME=/home/appspath/hbase-2.1.1 #hb...原创 2018-11-28 17:25:02 · 224 阅读 · 0 评论 -
使用javaAPI对HDFS进行各种操作
1.使用myeclipse新建java项目2.导入对应jar包 至于哪一些 百度新建文件: Configuration configuration=new Configuration(); configuration.set("fs.defaultFS", "hdfs://192.168.199.134:9000"); //连接到hdfs...原创 2018-12-13 15:54:45 · 446 阅读 · 0 评论 -
"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/la
1."main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决办法:1.前提条件: 1.1 本地已经有hadoop的安装包且正确配置了环境 1.2把下载的hadoop-common-2.2.0-bin-m...原创 2018-12-06 17:01:05 · 1125 阅读 · 0 评论 -
linux安装hive
1.解压目标文件 技巧:为了便于操作 最好修改文件名tar -zxvf 目标文件 - C /解压到目标文件路径2.配置环境变量vim ~/.bash_profile (所有的环境最好配置在此文件下 若配置在profile的文件下 会出现开机黑屏现象和连ls 这样的命令都不能进行使用)如下:export HIVE_HOME=/home/apps/hive-2.3.4export ...原创 2018-12-10 11:11:11 · 942 阅读 · 0 评论 -
hadoop 全分部
1、三台机器:bigdata12 bigdata13 bigdata14 2、每台机器准备工作:安装JDK、关闭防火墙、设置主机名(sudo hostnamectl set-hostname <newhostname>) systemctl stop firewalld.service systemctl disable fir...原创 2018-12-21 13:58:10 · 212 阅读 · 0 评论 -
hive与mysql的连接
由于hive的内嵌安装方式是将元数据存储在derby中,每次打开时候都会在其当前工作目录下创建一个derby文件和一个m**文件很不方便,而且这种方式是单用户连接模式,所以我们用hive的本地安装模式,即将hive的元数据存储到mysql中。 首先我们安装mysql,这里我用的是yum安装 yum install mysql-server (mysql的服务器) ...原创 2018-12-10 19:57:38 · 2237 阅读 · 0 评论 -
Hive整合HBase
前提条件: hadoop hive hbase 将hive的 hive-hbase-handler-.jar 复制到hbase/lib 1.hadoop hive hbase 都已安装 且成功启动 2. 进入hive启动hive :./hive 3.j进入hbhbase启动hbase : hbase shell 4.在hive中输入create table t_studen...原创 2018-12-11 12:06:12 · 640 阅读 · 0 评论 -
linux 安装hue
http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue 的版本:cdh5.3.6-hue-3.7.0 -> 需要编译才能使用 -> 联网 ping www.baidu.com -> 依赖(针对不同Linux版本) ...原创 2018-12-17 19:30:50 · 694 阅读 · 0 评论 -
hadoop环境搭建步骤
搭建Hadoop的环境 准备实验的环境: 1、安装Linux、JDK 2、配置主机名、免密码登录 3、约定:安装目录:/root/training 安装: 1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/training/ 2、设置环境变量: vi ~/.bash_profile ...原创 2018-10-31 14:27:10 · 412 阅读 · 0 评论