- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pycharm连接服务器文件上传失败：Failed to transfer file could not close the output stream for file
pyhcarm报错
2022-11-02 11:41:48
1449
1
原创 fi-gnn学习记录: modeling feature interaction via graph neural networks for ctr prediction
推荐算法结构化数据，利用图神经网络，fi-gnn
2022-09-08 15:37:36
235
原创 macbook docker搭建hadoop集群
背景python处理大数据性能上不足，所以想着用pyspark来处理，但是前提是要有一个hadoop的分布式环境，没有现成的，那就搭一个。环境mac: 10.15.6docker: 20.10.6hadoop: 3.2.3jdk: 1.8scala: 3.1.1spark: 3.0.3项目说明在docker中集成 hadoop，spark，scala， habse（暂未更新），目前已经完成可以启动1台master，3台slave的hadoop分布式环境，接下来会继续更新安装hbase等；
2022-04-08 18:14:33
2859
原创 macos pip3 install pyltp: command ‘clang++‘ failed with exit status 1
系统：macos10.15.6python: python3.7.1npm: 7.15.1Make 3.81cmake 3.19.3各种环境及包我都没有刻意去修改版本，只要找对安装方法即可使用pip3 install pyltp在本地macbook安装哈工大的pyltp时，编译时报了以下错误：command ‘clang++’ failed with exit status 1,ERROR: Failed building wheel for pyltp；网上的回答有说pyltp不支持pyt
2021-11-26 11:19:05
876
原创 jupyter lab启动控制台错误信息：/Users/xx/.pyenv/dl_env/bin/jupyter: bad interpreter: /Users/xx/pyenv/dl_env/bi
1.背景：在某个python虚拟环境中启动jupyter lab出现no such file or directory，然后默认使用的环境是系统python环境。2.原因：创建虚拟环境的路径被我改动过，比如原始的环境路径是/Users/xx/pyenv/dl_env；之后因为个人的一些原因，将虚拟环境变量的路径改为/Users/xx/.pyenv/dl_env,但是/Users/xx/pyenv/dl_env/jupyter文件第一行解释器声明记录了原始的python路径为/Users/xx/pyen
2021-11-24 14:43:45
968
原创 AttributeError: Can‘t get attribute ‘new_block‘ on ＜module ‘pandas.core.internals.blocks‘ from ‘/opt
pandas版本导致pickle读出异常又出现一个新的异常是因为pandas版本不同，生成的pickle不兼容的问题，本文用于记录异常1. AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/opt/conda/lib/python3.7/site-packages/pandas/core/internals/blocks.py'>2. .
2021-10-28 11:34:42
3928
2
原创 mac 安装了phantomjs 2.5 提示：dyld: Library not loaded: /usr/local/opt/webp/lib/libwebp.6.dylib
环境系统：macos catalina 10.15.6phantomjs 版本： 2.5本机默认webp版本：webp 0.6.0 生成bwebp.7.dylib$ phantomjs --versiondyld: Library not loaded: /usr/local/opt/webp/lib/libwebp.6.dylib Referenced from: /usr/local/bin/phantomjs Reason: image not foundAbort tr
2021-06-27 16:39:41
199
原创 python本地虚拟环境大杀器 virtualenv virtualenvwrapper pyenv pyenv-virtualenvwrapper
硬件系统：macos catalina 10.15.6系统包管理：Homebrew 3.1.9背景：python多个项目，每个项目用到的python版本不同，且项目间依赖库及版本也各不相同，在这种情况下，多项目开发就需要环境的隔离，虚拟环境很好的解决了这一问题。首先保证你的本地已经安装了python，注意区分是python2还是python3virtualenv# 在系统python中安装pip3 install virtualenv好了，安装了virtualenv就i可以使用mkvir
2021-06-12 18:50:47
309
原创 mac docker build images error: GPG error: https://mirrors.163.com/debian buster InRelease: At least
问题：改了dockerfile 想重新build镜像时，在mac os中怎么都不成功，错误如下图：折腾了一会，网上大神说是 docker dist 不够了，果不其然，狂删本地镜像腾出空间后，刷刷刷地就装成功了，怎么也没想到这个报错是与磁盘空间有关。大神相关回复：https://stackoverflow.com/questions/64439278/gpg-invalid-signature-error-while-running-apt-update-inside-arm32v7-ubuntu20-
2021-06-11 23:22:05
429
1
原创 brew install npm ＞Error: python@3.9: wrong number of arguments (given 1, expected 0)
问题笔记本环境：mac os catalina 10.15.6homebrew版本：Homebrew 2.7.5Homebrew/homebrew-core (git revision cbdbf6; last commit 2021-06-07)Homebrew/homebrew-cask (git revision fe5ca; last commit 2021-06-07)背景：手贱brew update了一版，然后：brew install node 报错：Error: pyth
2021-06-07 22:30:23
3194
原创 多学习率训练
背景：很多优化器本身能根据参数更新次数调整学习率，有时可能会导致很难收敛到最优，可以选择几个学习率组合进行学习注意点：每天切换学习率的时候，最好重置optimizer，因为不同的学习率，优化器保存的状态参数不同，刚切换学习率的时候可能会收敛不稳定，如果重置了optimizer不会导致在切换时波动。...
2021-05-22 22:08:01
130
原创 pip3 install 无法将包安装到虚拟环境，而是安装在python3默认环境中
背景：python3 安装了virtualenv 和 virtualenvwrapper用于管理虚拟环境，使用workon切换到虚拟环境中test_env, 然后执行pip3 install pandas发现pandas 安装到了python3默认环境中，而test_env中没有pandas原因：workon列出了WORKHOME下的各个虚拟环境，而其实这几个虚拟环境本来是在其他路径下生成的，后来被我给移动到WORKHOME路径下，因为之前生成的虚拟环境中bin文件下的activate和pip3 文件中都
2021-05-13 22:59:40
1741
5
原创 macos启动jupyter lab 错误：attributeerror: ‘extensionmanager‘ object has no attribute ‘_extensions‘
搜了网上各种各样的方法，包括jupyter lab 官方文档中说到需要安装node，这个方法对我不管用，因为当你用brew install node时，又会踩到版本问题的坑，直到我用蹩脚的英文google之后，在stack overflow找到一个在2021.05.12号的回答，这个刚好是在我踩坑的同一天。原因是：This is because of changes introduced in jupyter-server release two days ago (2021-05-10), see th
2021-05-13 22:40:02
2465
11
原创 Deep-learning小白入门-pytorch实现cnn模型
Deep-learning小白入门-pytorch实现cnn模型背景构建你的第一个深度学习模型参考的网上文章背景开篇简单啰嗦几句，因为公司最近项目要从传统的机器学习模型（xgboost）切换到deep-learning，有幸也参与到deep-learning的学习开发中，目前也是一边理论一边实操，本文也是从零开始用pytorch写深度学习模型，希望也可以给正在入门学习的你一些参考，代码基本都有很详细的注释，其中很多思路也是参考了网上各种大神的文章，会放在文章最后供大家参考。构建你的第一个深度学习模型
2021-01-30 18:11:07
365
2
原创 Qlik Sense 数据加载编辑-演示
一、循环加载实际工作中我们经常遇到需要将文件夹中的数据表定期的循环加载到模型中，可以在代码中进行设置。简单循环加载 # 首先在数据加载编辑器中，创建好新连接-本地工作目录文件夹，命名好文件夹 # 文件夹中存放有多份文件，一般是按月/日/周更新的数据，数据的字段名称、字段数量、字段顺序都是保持一致的 # 假设文件夹datafiles 中的文件的格式都是csv table: Lo...
2019-08-23 09:52:33
1155
原创 第二周-python实战-youtube视频分析
python实践前沿：本文主要针对kaggle上的一份数据集，内容是关于youtube热点视频的分析，用python进行了一些分析，主要用到的是pandas的一些方法，结合案例加以操作，巩固python知识。# 引入模块import pandas as pdimport arrowfrom matplotlib import pyplot as plt%matplotlib inlin...
2019-07-28 23:38:09
1285
1
原创 第一周-统计学基础
统计学基础复习描述统计图表展示未完待续前言：最近有幸参加了木东居士开展的大数据学习小组，之前也没有比较系统性的参与大数据方面的学习，都是自己在摸索，效果不见得多好，所以很感谢居士开展的这个项目，跟着大神的思路，也希望自己能够得到一次提升，作为第一周课堂前的练习，自己也只是简单先复习下相关的一些统计学知识，仅作为自己的一次记录。描述统计在处理实际业务数据的时候，我们经常需要对数据汇总统计，经常...
2019-07-21 18:44:32
271
原创 Qilk Sense学习文档--需求示例
一. 当满足条件时显示图表，不满足条件时不显示**对杯型的选择项大于2时，才显示销售额-产品名称图表：getselectcount(杯型) >2二、设置行级别权限注意：在服务器版本设置行级别权限的时候，一定要在系统后台中的，数据（即在Apps中）备份app，否则一旦失败，整个app就没用了，备份是选择Duplicate# 行级别权限需要在脚本中写好# 在数据加载编辑器中新...
2019-01-10 15:41:55
1825
原创 Qliksense 学习文档—初级入门
本文主要是近期学习Qlik sense的一些记录与总结，内容尚未完善，适合同初学QS的童鞋一同探讨，后续会有补充，若发现文中有不正确之处，烦请联系指正(一) 数据连接连接SQL Server数据库：Sever处填写“localhost”，database处填写“某个数据库名”，一般SQL Server 默认port是1433(视情况更改），user name:一般情况为sa（视情况更改）...
2019-01-10 15:06:50
15365
4
原创 关于在ubuntu常用的一些代码
注：最近自己搞了一台谷歌云服务器，自己要试着搭建内网穿透，用到了一些ubuntu的操作语言，先记录下，以后再补充1.切换到最高权限用户 sudo su2.切换目录 - cd #切换到根目录 - cd /root #切换到根目录下的root文件夹 - cd .. #返回到当前目录的上级目录3.查看当前目录下的所有文件 - ls -a #查看所有文件 - ls -a...
2018-12-18 17:39:28
498
原创 常用SQL 语句的练习，包括查询，聚合的一些用法
注：仅作为对自己学习SQL的一些记录，由浅及深，后续会继续补充，本文主要是在SQL Server中实践** 本文练习的数据是创建了四张表，Student,Score，Course,Teacher,方便做表的交叉查询，表间通过主外键链接，也希望对入门SQL的同学有一定参考价值** 本文在题目的筛选上也参考了知乎用户：猴子聊数据分析，感谢大神给了我练习的一些思路1.建表过程，比较简单，这里注意...
2018-12-18 17:33:14
210
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人