- 博客(22)
- 资源 (20)
- 收藏
- 关注
原创 封神榜系列模型基础环境(fengshenbang-LM-main),包括(deepspeed、jieba_fast)
主要还是涉及到各类c相关的环境;尤其针对里面的 deepspeed,jieba_fast比较难安装的包进行记录。成功之后,在成功的目录 dist 下面执行. pip install deepxxx-any.whl。1. 需要安装torch、cuda(或者无)相关的环境,并验证(这块可以查一下资料)3. 编译选择 cmd,不要选择power shell,管理员权限打开。2. 安装 C相关编译环境。建议直接安装 visual studio。建议先看requirement中需要安装py包,一个一个安装。
2023-11-12 16:58:40 449
原创 tensorflow 出现Dense should be defined. Found `None`.
The last dimension of the inputs to `Dense` should be defined. Found `None`.
2022-05-25 11:29:47 719
原创 spark异常记录
阿里云EMR running beyond physical memory limits. Current usage: 2.1 GB of 2 GB physical memory used(1) 调整 spark.yarn.driver.memoryOverhead 或 spark.yarn.executor.memoryOverhead(2) 在作业编辑页面设置内存(默认2G)。 作业设置→高级设置→内存设置spark不打印stage运行(1)2.3版本之后,默认关闭。开启设置co..
2020-05-10 19:59:13 273
原创 hbase 环境搭建:单机版、远程访问
1. 环境mac或者linux 1台; 客户端 电脑(windows、mac、linux) 1台 jdk 1.8.x hbase 2.2.2 下载:https://hbase.apache.org/downloads.html hdaoop 3.2.1 下载:https://hadoop.apache.org/releases.html hadoop-common-bin 工具下...
2020-01-04 17:40:24 2244 1
原创 阿里云EMR spark streaming 消费kafka数据
先吐槽一下阿里云,简直了,为了一个简单demo,简直无语先是本身MQ的kafka有问题,然后3.30升级也无这方面文档提供,回到正题:本文主要讲讲述下再阿里云的emr中的spark streaming怎么连接阿里云的消息kafka1. kafka配置 在新的消息队列kafka中,申请topic+consumer groupID (1) topic建议测试使用外网 (2)阿里云需建...
2018-04-04 11:57:04 1309
原创 Scala Json 转化
scala中使用json,比java中使用json复杂一些。尝试了json-smart;fast json; gson;json4s以及scala自带的json。总结如下:1. 普通json string 转化 object, 使用JSON.pareseFull 。 JSON.parseFull(str).get.asInstanceOf[Map[String...
2018-02-23 19:40:25 15599 1
原创 Spark各种问题汇总
1. spark streaming 与kafka报错 不能序列化ConsumerRecord,描述:object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord,原因: KafkaUtils.createDirectStream 后使用了repartition(n)
2018-01-24 21:03:22 1364 3
翻译 Mac 安装使用kafka
1. 安装kafka$ brew install kafka(1) 安装过程将依赖安装 zookeeper(2) 软件位置/usr/local/Cellar/zookeeper/usr/local/Cellar/kafka(3) 配置文件位置/usr/local/etc/kafka/zookeeper.properties/usr/local/
2018-01-20 15:43:08 3093
翻译 Spark集群搭建
零基础搭建hadoop集群,目标 1(master)+2(slaves)工具准备:搭建hadoop集群, 参考* http://blog.csdn.net/shuaidan19920412/article/details/72587855 ** Scala version 2.10.4 官网下载 *spark-1.6.1-bin-hadoop2.6 官网下载 1. scala 安装,
2017-06-03 17:47:19 309
翻译 hadoop集群搭建
零基础搭建hadoop集群,目标 1(master)+2(slaves)工具准备:vmware 12centos 7 mini版xshell用于远程主机xftp5文件传输centos 安装小工具 sz rz ;yum install lrzszhadoop 2.6.0spark1.6.1 (暂时没用)jdk-7u79-linux-x64vm及centos 安装过程忽略,参考 http
2017-05-20 20:58:50 699
原创 Eclipse创建包含Scala的Maven工程_Spark学习demo
为了学习spark,在mac上使用eclipse创建包含scala的maven工程,并打包至于服务器运行。 1.1 hadoop安装安装hadoop2.6.0,参考博客1.2 spark下载下载spark-1.6.0-bin-hadoop2.6.tgz,在官网下载,在 choose a download type中建议选择 select apache mirror。 下载完成之后放在自己的相应目
2016-12-04 18:14:14 1541
翻译 Mac上的第一个hadoop小demo
环境: mac eclipse hadoop2.6.0 1. 安装eclipse 2. 下载插件 hadoop-2.4.1-plugin.jar 放在eclipse/plugins目录下 3. 重启eclipse,配置Hadoop installation directory 偏好设置 4.配置 Map/Reduce Locations Windows—show view—Other——
2016-11-01 21:16:59 713 1
原创 Mac OSX搭建Hadoop
Mac OSX搭建Hadoop本文主要阐述在mac上搭建hadoop,参考 http://www.jianshu.com/p/3aebdba32363 首先保证xcode 最新 1. 准备 安装Homebrew和Cask ruby−e" ruby -e "(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/maste
2016-11-01 12:02:08 532
转载 Git 忽略某些文件
OS git 忽略 .DS_Store 方案在项目根目录 添加 .gitignore 文件(里面添加忽略文件名字) ; 使用命令git config --global core.excludesfile ~/.gitignore_global 即可参考网址 http://blog.csdn.net/lanbing510/article/details/40588323
2016-06-12 10:27:49 269
转载 MAC 安装 Android studio 教程
mac使用Android studio 安装教程(亲测可用)确认 jdk 已经安装(未安装,则安装jdk)在www.android-studio.org下载studio和sdk,并分别解压、安装直接运行studio时, 会卡在一个界面很久。解决方法如下:在android studio安装目录下的bin目录下找到idea.propreties文件,在最后加上一句 disable.android
2016-01-27 20:20:13 449
转载 IOS 真机报错,dyld:Librarynotloaded;image not found
针对引入framework,运行时出现警告:dyld: Library not loaded: @rpath/xxx.framework:; Reason: image not found解决方案:
2016-01-25 14:14:26 395
jansi-1.4.jar
2020-07-28
阿里云emr spark kafka redis MongoDB例子demo
2018-04-04
基于深度优先搜索和广度优先搜索的最短路径问题
2013-12-25
基于深度优先搜索的最短路径问题
2013-12-25
基于广度优先搜索的最短路径问题
2013-12-25
软件无线电通信系统实验报告
2012-12-06
mfc(vs2008)视频监控demo
2012-11-15
vs2008下mfc读取xml文件
2012-11-15
学生成绩管理系统 MFC
2011-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人