- 博客(22)
- 资源 (20)
- 收藏
- 关注
RSS订阅原创 封神榜系列模型基础环境(fengshenbang-LM-main),包括（deepspeed、jieba_fast）
主要还是涉及到各类c相关的环境；尤其针对里面的 deepspeed，jieba_fast比较难安装的包进行记录。成功之后，在成功的目录 dist 下面执行. pip install deepxxx-any.whl。1. 需要安装torch、cuda（或者无）相关的环境，并验证（这块可以查一下资料）3. 编译选择 cmd，不要选择power shell，管理员权限打开。2. 安装 C相关编译环境。建议直接安装 visual studio。建议先看requirement中需要安装py包，一个一个安装。
2023-11-12 16:58:40
333
原创 tensorflow 出现Dense should be defined. Found `None`.
The last dimension of the inputs to `Dense` should be defined. Found `None`.
2022-05-25 11:29:47
666
原创 spark异常记录
阿里云EMR running beyond physical memory limits. Current usage: 2.1 GB of 2 GB physical memory used(1) 调整 spark.yarn.driver.memoryOverhead 或 spark.yarn.executor.memoryOverhead(2) 在作业编辑页面设置内存（默认2G）。 作业设置→高级设置→内存设置spark不打印stage运行（1）2.3版本之后，默认关闭。开启设置co..
2020-05-10 19:59:13
246
原创 hbase 环境搭建：单机版、远程访问
1. 环境mac或者linux 1台； 客户端 电脑(windows、mac、linux) 1台 jdk 1.8.x hbase 2.2.2 下载：https://hbase.apache.org/downloads.html hdaoop 3.2.1 下载：https://hadoop.apache.org/releases.html hadoop-common-bin 工具下...
2020-01-04 17:40:24
2118
1
原创 阿里云EMR spark streaming 消费kafka数据
先吐槽一下阿里云，简直了，为了一个简单demo，简直无语先是本身MQ的kafka有问题，然后3.30升级也无这方面文档提供，回到正题：本文主要讲讲述下再阿里云的emr中的spark streaming怎么连接阿里云的消息kafka1. kafka配置 在新的消息队列kafka中，申请topic+consumer groupID (1) topic建议测试使用外网 (2）阿里云需建...
2018-04-04 11:57:04
1276
原创 Scala Json 转化
scala中使用json，比java中使用json复杂一些。尝试了json-smart；fast json； gson；json4s以及scala自带的json。总结如下：1. 普通json string 转化 object, 使用JSON.pareseFull 。 JSON.parseFull(str).get.asInstanceOf[Map[String...
2018-02-23 19:40:25
15527
1
原创 Spark各种问题汇总
1. spark streaming 与kafka报错 不能序列化ConsumerRecord,描述：object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord,原因： KafkaUtils.createDirectStream 后使用了repartition(n)
2018-01-24 21:03:22
1347
3
翻译 Mac 安装使用kafka
1. 安装kafka$ brew install kafka(1) 安装过程将依赖安装 zookeeper(2) 软件位置/usr/local/Cellar/zookeeper/usr/local/Cellar/kafka(3) 配置文件位置/usr/local/etc/kafka/zookeeper.properties/usr/local/
2018-01-20 15:43:08
3077
翻译 Spark集群搭建
零基础搭建hadoop集群，目标 1（master）+2（slaves）工具准备：搭建hadoop集群， 参考* http://blog.csdn.net/shuaidan19920412/article/details/72587855 ** Scala version 2.10.4 官网下载 *spark-1.6.1-bin-hadoop2.6 官网下载 1. scala 安装，
2017-06-03 17:47:19
300
翻译 hadoop集群搭建
零基础搭建hadoop集群，目标 1（master）+2（slaves）工具准备：vmware 12centos 7 mini版xshell用于远程主机xftp5文件传输centos 安装小工具 sz rz ；yum install lrzszhadoop 2.6.0spark1.6.1 （暂时没用）jdk-7u79-linux-x64vm及centos 安装过程忽略，参考 http
2017-05-20 20:58:50
660
原创 Eclipse创建包含Scala的Maven工程_Spark学习demo
为了学习spark，在mac上使用eclipse创建包含scala的maven工程，并打包至于服务器运行。 1.1 hadoop安装安装hadoop2.6.0，参考博客1.2 spark下载下载spark-1.6.0-bin-hadoop2.6.tgz，在官网下载，在 choose a download type中建议选择 select apache mirror。 下载完成之后放在自己的相应目
2016-12-04 18:14:14
1525
翻译 Mac上的第一个hadoop小demo
环境： mac eclipse hadoop2.6.0 1. 安装eclipse 2. 下载插件 hadoop-2.4.1-plugin.jar 放在eclipse/plugins目录下 3. 重启eclipse，配置Hadoop installation directory 偏好设置 4.配置 Map/Reduce Locations Windows—show view—Other——
2016-11-01 21:16:59
699
1
原创 Mac OSX搭建Hadoop
Mac OSX搭建Hadoop本文主要阐述在mac上搭建hadoop，参考 http://www.jianshu.com/p/3aebdba32363 首先保证xcode 最新 1. 准备 安装Homebrew和Cask ruby−e" ruby -e "(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/maste
2016-11-01 12:02:08
525
转载 Git 忽略某些文件
OS git 忽略 .DS_Store 方案在项目根目录 添加 .gitignore 文件（里面添加忽略文件名字） ； 使用命令git config --global core.excludesfile ~/.gitignore_global 即可参考网址 http://blog.csdn.net/lanbing510/article/details/40588323
2016-06-12 10:27:49
257
转载 MAC 安装 Android studio 教程
mac使用Android studio 安装教程（亲测可用）确认 jdk 已经安装（未安装，则安装jdk）在www.android-studio.org下载studio和sdk，并分别解压、安装直接运行studio时， 会卡在一个界面很久。解决方法如下：在android studio安装目录下的bin目录下找到idea.propreties文件，在最后加上一句 disable.android
2016-01-27 20:20:13
440
转载 IOS 真机报错，dyld:Librarynotloaded；image not found
针对引入framework，运行时出现警告：dyld: Library not loaded: @rpath/xxx.framework：； Reason: image not found解决方案：
2016-01-25 14:14:26
383
jansi-1.4.jar
2020-07-28
阿里云emr spark kafka redis MongoDB例子demo
2018-04-04
基于深度优先搜索和广度优先搜索的最短路径问题
2013-12-25
基于深度优先搜索的最短路径问题
2013-12-25
基于广度优先搜索的最短路径问题
2013-12-25
软件无线电通信系统实验报告
2012-12-06
mfc（vs2008）视频监控demo
2012-11-15
vs2008下mfc读取xml文件
2012-11-15
学生成绩管理系统 MFC
2011-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人