Mirza_Zhao-CSDN博客

原创 PySpark读取MongoDB数据

MongoDB是一个基于分布式文件存储的数据库。旨在为WEB应用提供可扩展的高性能数据存储解决方案。这里最后的2.11是Scala版本，一般不用动，2.4.4是Spark版本，这里需要根据使用的Spark版本修改。在配置spark参数的时候。

2023-02-21 10:56:01 563

原创 IProgress not found. Please update jupyter and ipywidgets.Transformers 导入预训练模型报错

项目场景：使用Huggingface的Transformers第一次导入预训练模型的时候会报这个错。问题描述：第一次运行demo的时候需要下载预训练模型，接着就会卡在这一步。网上看了一些，说什么卸载jupyter重装、或者重新安装ipywidgets的，都不管用。ImportError:IProgress not found. Please update jupyter and ipywidgets.原因分析：本质上却少了相关的包，直接pip install IProgress或

2021-11-11 15:24:26 5848 6

原创 Huggingface Transformers 安装报错 ImportError: /lib64/libc.so.6: version `GLIBC_2.18‘ not found

项目场景：近期安装transformers的时候发现了这个报错，之前transformers 3.5.0用的很流畅，这次突然遇到这个问题。问题描述：这种import error一般不是“缺胳膊少腿”，就是版本不匹配原因分析：按照头痛医头，脚痛医脚的思路，先去看看缺的这个包是咋回事。报错日志不难发现是tokenizers在调用GLIBC 2.18的时候找不到。简单了解了一下GLIBC一个Linux的c运行库（glibc_百度百科），再看一下服务器现有的GLIBC版本，确实没有2..

2021-10-24 18:11:14 3488 1

原创 CTR预估AUC=0.99问题记录

项目场景：最近在做CTR预估，同时有4个业务的一起做，之前在其他平台使用的机器学习没有问题。换到新的深度学习平台，用DNN和DeepFM做auc高的吓人。问题描述：模型从一开始就可以稳定收敛，无论是测试集还是训练集都可以稳定在0.99的auc。设定定时任务离线训练了数天后发现，偶尔会有几天auc突然变成0.5，之后有会变成0.99。原因分析：遇到这个问题头也是大的，之前没做过这块的工作。只能一个个原因排查：是不是训练数据过拟合？答：但是在测试集上也有很高的auc很显然不是过拟合。

2021-07-22 19:30:54 2713 7

原创 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 246-247: ordinal not in range

项目场景：在集群上写pyspark的时候遇到了这个问题问题描述：在进行df.show()操作的时候，由于数据中有中文，所以报错Traceback (most recent call last): File "20210622_1259_test.py", line 13, in <module> df.show(100)……UnicodeEncodeError: 'ascii' codec can't encode characters in position 246-

2021-06-22 17:42:30 419

原创 org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 1373316

项目场景：使用Pyspark做数据清晰的时候，从小数据到大数据转换的时候报了这个错。问题描述： org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 137331649 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increasing spar

2021-06-16 12:04:57 3709

原创 PySpark Dataframe 对列取log对数

项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes,

2021-06-03 11:27:38 5510 4

原创安装renren-vue报错总结

一、错误1npm ERR! code ERR_TLS_CERT_ALTNAME_INVALID在部署renren的前端的时候，需要安装 npm install --registry=https://registry.npm.taobao.org然后首先需要安装node.js才能用npm，之后要进入renren的文件夹下运行。之后报错npm ERR! code ERR_TLS_CERT_ALTNAME_INVALIDnpm ERR! errno ERR_TLS_CERT_A.

2020-12-22 18:20:07 381

原创 Transformers转ELECTRA到pytorch报错:module ‘tensorflow_core.keras.activations‘ has no attribute ‘swish‘

项目场景：利用Transformers转ELECTRA模型的时候，遇到了一些问题。ELECTRA用的是讯飞哈工大的模型。问题描述：执行转换脚本：python3 transformers-master/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py \--tf_checkpoint_path chinese_electra_base_L-12_H-768_A-12/ \--config_file

2020-11-11 17:40:09 1559 6

原创非root账户Linux服务器配置Jupyter notebook

文章目录前言一、Jupyter notebook安装二、生成Jupyter notebook配置文件三、生成密码并配置1.生成密码2.添加到配置文件3.强行重置密码四、建立本地SSH通道总结前言使用GPU服务器的时候往往是多人用一台服务器，而每个人的权限不一定都拥有root权限，因此防火墙的问题就不好解决。如果想要通过本地使用服务器的jupyter notebook就会有些困难，本文整理网上教程同时博主自己也实践了一下。一、Jupyter note.

2020-10-21 12:47:49 2905 4

原创大二学生作业——C++个人通讯录管理系统

一、作业题目个人通讯录管理系统（2016年11月03日）建立一通讯录，输入姓名、电话号码、住址等信息，然后对通信簿进行显示、查找、添加、修改及删除。功能要求：(1) 通讯录的每一条信息包括姓名、单位、固定电话、移动手机、分类（如同事、朋友、同学、家人等）、EMAIL、QQ等。(2) 输入功能：可以一次完成若干条信息的输入。(3) 显示功能：完成全部通讯录信息的显示(一屏最多显示10条,超过十条应能够自动分屏显示)(4) 查找功能：可以按姓名等多种方式查找通讯信息(5) 增加、删除、修改功能

2020-10-09 23:22:00 3105

原创安装renren-vue报错总结

一、错误1npm ERR! code ERR_TLS_CERT_ALTNAME_INVALID今天在部署renren的前端的时候，需要安装 npm install --registry=https://registry.npm.taobao.org然后首先需要安装node.js才能用npm，之后要进入renren的文件夹下运行。之后报错npm ERR! code ERR_TLS_CERT_ALTNAME_INVALIDnpm ERR! errno ERR_TLS_CE.

2020-10-09 22:27:00 1361 1

原创小霸王电脑吃鸡/玩大型游戏GlobalShaderCache-PCD3D_SM4.bin is missing解决方法

（2017年9月27日）先重现一下问题：再说一下博主小霸王级别电脑，i3处理器，8g内存，Graphic 3000集显。但是还是想吃鸡啊！怎么办呢，下了半天的吃鸡结果蹦出了个看不懂的错误。乍一看像是缺少了文件。我也尝试过从网上下载相关文件，但是依旧不行。后来在网上看到了一篇关于渣机玩一些大型游戏的帖子。里面也是遇到这种类似的问题。最后用了一个神器来解决的，名字叫做dxcpl。大致的作用是跳过游戏的显卡检测。这样低配电脑也可以玩一些大型游戏（不过要小心显卡别烧了）。接下来说明一下怎么折

2020-10-09 22:20:11 1896

原创 WP出现error establishing a database connection问题

最近有一段时间没有更博文主要是数据库崩了。。。作为小白的我一脸懵逼。在一波度娘之后发现了一个治标不治本的解决方法。（2017年11月8日）先重现一下问题：大概在十来天前想写一篇博文的时候打开网站发现了数据库无法连接的问题：error establishing a database connection同时，phpmyadmin,在登录窗口上方出现：#2002 无法登录 MySQL 服务器而且仅仅只是数据库崩了，服务器是正常运行的在。我挂在服务器上的静态网页也是可以访问的

2020-10-09 22:17:23 847

原创 MYSQL导入数据出现Error 1290：The MySQL server is running with the --secure-file-priv option so it cannot ex

最近在学习MySQL，刚入门，在导入数据的时候出现了Error 1290：The MySQL server is running with the --secure-file-priv option so it cannot execute this statement问题，以下的解决办法：问题重现：一次实验课的任务是导入以下文件到数据库中：然后就根据老师给的pdf文件中所说的去做：（ 3）导入导出数据(以 employee 表为例)：导入全部数据LOAD DATA INF

2020-10-09 22:14:13 2462 1

原创会声会影X8 64位安装完成后一打开就示已停止工作的解决办法

之前重装了系统之后，会声会影也要重装了。换成了64位系统后，安装包也下载了64位的。安装的时候都很顺利，接着就出现了如下问题（图片来自网络）：网上找了很多办法，什么安装路径不能有中文、卸载windows的补丁之类的。试了一下都没有解决问题。最后发现这个是一个官方BUG，是软件不兼容导致的，官方也推出了补丁，将补丁打上之后就没有任何的问题了。这里是补丁链接：https://pan.baidu.com/s/1i5hCwvz 密码: zzuc...

2020-10-09 22:12:53 1330 1

原创 SpringBoot报错o.s.b.d.LoggingFailureAnalysisReporter

第一次使用SpringBoot，一启动就报错，内容如下：2018-07-11 09:43:25.142 ERROR 5136 --- [ main] o.s.b.d.LoggingFailureAnalysi上网了解了一下只要在启动类里改一下代码即可：解决方法：在启动类的注解上加 exclude = {DataSourceAutoConfiguration.class} 如下所示：@SpringBootApplication(exclude = {DataSourceAutoC..

2020-10-09 22:09:33 552

原创解决Android setOnCheckedChangedListener 多次调用问题

最近在用Android switch控件做中英文切换，用 setOnCheckedChangedListener的时候出现了死循环调用的情况，网上了解了一下在onCheckedChanged的头部加上以下代码即可解决问题：View viewById = view.findViewById(R.id.switch_language);if (!viewById.isPressed()){//解决死循环调用 return;}...

2020-10-09 22:07:00 796

原创【原创】解决Android setOnCheckedChangedListener 多次调用问题

最近在用Android switch控件做中英文切换，用 setOnCheckedChangedListener的时候出现了死循环调用的情况，网上了解了一下在onCheckedChanged的头部加上以下代码即可解决问题：View viewById = view.findViewById(R.id.switch_language);if (!viewById.isPressed())...

2019-02-10 17:56:01 337

原创【原创】SpringBoot报错o.s.b.d.LoggingFailureAnalysisReporter

第一次使用SpringBoot，一启动就报错，内容如下：2018-07-11 09:43:25.142 ERROR 5136 — [ main] o.s.b.d.LoggingFailureAnalysi上网了解了一下只要在启动类里改一下代码即可：解决方法：在启动类的注解上加 exclude = {DataSourceAutoConfiguration.class} 如下所示：...

2018-07-11 09:52:55 621

原创【转】使用PUTTy远程登录和FileZilla软件上传下载

最近项目部阿里云的时候要使用该软件，以下转自https://blog.csdn.net/yz1780041410/article/details/790028761 服务器的使用：Linux常见命令：cd 文件夹名：查看路径dir ：查看当前路径下的所有文件ls ：列出当前文件夹下所有内容pwd ：显示当前路径clear ：清空终端屏幕命令，Ctrl+L清除屏幕...

2018-06-21 21:42:55 197

原创【转】genymotion访问电脑的localhost

今天在用genymotion模拟器访问pc本机的时候，用127.0.0.1访问失败。在书上得知自带的模拟器用的是10.0.0.2地址，但是genymotion和其不同，以下转自网络：用来进行android测试时使用genymotion，genymotion是运行在virtualbox中的，virtualbox为两者建立了连接，在linux下通过ifconfig可以看到有一个叫做vboxn...

2018-04-22 17:58:31 69

原创【转】JSON书写格式

JSON是什么JSON ( JavaScript Object Notation) ，是一种数据交互格式。为什么有这个技术Json之前，大家都用 XML 传递数据。XML 是一种纯文本格式，所以适合在网络上交换数据，但是 XML 格式比较复杂，终于道格拉斯·克罗克福特(Douglas Crockford)发明了JSON 这种超轻量级的数据交换格式。willy wonka slot...

2018-03-26 20:19:05 719

原创【转】XML文件详解以及解析

一、xml基础详解：1、概述：xml:即可扩展标记语言，xml是互联网数据传输的重要工具，它可以跨越互联网任何的平台，不受编程语言和操作系统的限制，可以说它是一个拥有互联网最高级别通行证的数据携带者。xml是当前处理结构化文档信息中相当给力的技术，xml有助于在服务器之间穿梭结构化数据，这使得开发人员更加得心应手的控制数据的存储和传输。Xml用于标记电子文件使其具有结构性的标记语言，...

2018-03-26 20:13:01 127

原创【转】Failed to resolve:com.android.support:appcompat-v7:报错处理

第三次安装android studio遇到的问题，看完这篇博文醍醐灌顶，分享一下！源地址：https://blog.csdn.net/mhl18820672087/article/details/78385361你在使用android studio时是否也出现过上图的报错，你还在为它的出现烦恼？没问题，看了本文章，我确保你会顺利解决掉它并会很骄傲的认为这只是一个小case级别的报错。...

2018-03-26 16:19:05 60

原创【整合】关于Android系统配置Termux中的python环境绘图

Termux能够在Android手机端模拟Linux系统。并能够使用python实现手机端的数据绘图。1.python安装首先常规更新pkg upgdatepkg updatepkg install python python-devpkg install python3 python3-dev进行安装关于python版本可以自己选择2.安装依赖的包pkg insta...

2018-02-20 21:12:19 557

原创【原创】在Android studio上安装Genymotion及困难解答

最近几天自学Android开发，这个虚拟机真的是折腾死我了。AS自带的虚拟机折腾了一下没弄好，上网看了一下口碑并不是很好，一般都推荐使用genymotion做虚拟机，于是就去找了一下下载。一、下载GenymotionGenymotion官方下载是需要注册一个账号的，但是是免费的。不过不知道为什么官网最近把download菜单栏给删了，害得我这个英语白痴在里面折腾了好久才找到下载的地方。...

2018-02-11 14:31:47 145

原创【转】python抽象基类abc

在学习python抽象基类的过程中，发现了这篇文章。虽然文章主要是基于内置模块abc里抽象类的用法、特性，但对于学习python抽象基类是有一定的帮助，尤其是关于抽象类中继承与注册的特点。文章中在自定义抽象类时，是通过继承自object，再通过__metaclass__来定义为新类。这是对于python2.x的用法，而对于python3.x使用继承自abc.ABC更为方便。(注意这里的...

2018-01-29 15:27:27 74

原创【原创】Linux 设置环境变量情况

在配置Ubuntu系统里的anaconda环境变量时，所遇到的问题。参考了Linux公社所列出的解决方法中增加了/etc/profile里的anaconda路径，以希望永远增加系统用户的环境变量，效果不错。但是之后再终端进行zsh安装之后，却发现终端输入conda无命令。在参考了imlzk的博客之后发现是切换到zsh后，并没有执行~/.bash_profile文件。在切换到zsh后重...

2018-01-11 13:48:22 54

原创【转】数据库的关系键

关系键是关系数据库的重要组成部分。关系键是一个表中的一个或几个属性，用来标识该表的每一行或与另一个表产生联系。数据库理论中, 超键、候选键与主键之间的关系:• 候选键是超键的一种：不含有多余属性的超键• 某个候选键被选为主键主键：主键，又称主码(primary key)。数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个...

2018-01-04 15:03:59 445

原创【转】使用ZBar来读取条形码和二维码的方法

1.使用ZBar项目。下载地址是：http://zbar.sourceforge.net/iphone/index.html2.新建一个项目。3.导入 ZBar的sdk。把ZBar SDK的目录拉入项目，然后选中copy选项4.在项目文件的target中加入以下framework5.在appDelegate文件中加入标记部分的代码[cpp]–(BOOL)appl...

2018-01-03 11:19:55 241

原创【转】完全理解 Python 迭代对象、迭代器、生成器

本文源自RQ作者的一篇博文，原文是Iterables vs. Iterators vs. Generators，俺写的这篇文章是按照自己的理解做的参考翻译，算不上是原文的中译版本，推荐阅读原文，谢谢网友指正。在了解Python的数据结构时，容器(container)、可迭代对象(iterable)、迭代器(iterator)、生成器(generator)、列表/集合/字典推导式(list...

2017-12-30 23:49:18 38

原创【转】java连接mysql数据库的详细步骤

转自：http://blog.csdn.net/huwentao0305/article/details/53378755其中代码有部分问题，我将其完善了一下。连接说明：a、mysql连接的驱动b、mysql数据库的安装c、eclipsee、数据库服务是否打开(控制面板——管理工具——服务——找到mysql对应服务)f、创建一个数据库1、新建java项目然后新建一个文件...

2017-12-14 11:12:04 87

原创【原创】会声会影X8 64位安装完成后一打开就示已停止工作的解决办法

之前重装了系统之后，会声会影也要重装了。换成了64位系统后，安装包也下载了64位的。安装的时候都很顺利，接着就出现了如下问题(图片来自网络)：网上找了很多办法，什么安装路径不能有中文、卸载windows的补丁之类的。试了一下都没有解决问题。最后发现这个是一个官方BUG，是软件不兼容导致的，官方也推出了补丁，将补丁打上之后就没有任何的问题了。这里是补丁链接：https:/...

2017-12-13 21:01:13 346

原创【转】面向对象分析方法

一、什么是OOA？Object-Oriented Analysis(面向对象分析方法)是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。OOA与面向过程分析区别面向过程：分析出解决问题所需要的步骤，然...

2017-12-07 16:10:49 3496

原创【转】sql 里定义参数时用@和不用有什么区别

博主今天第一次做相关实验，一直没有弄懂@的意思，百度了一下搜到了答案。以下内容均为转载：当然有区别了，而且区别很大。如果写成DECLARE name int会有语法错误,错误信息是:INT 不是可以识别的CURSOR(游标)选项@加上后面的内容，说明这个是一个参数，如果不加的话，你怎么用参数呢，比如你本来是想给参数赋值，结果写成这样：SELECT ...

2017-11-29 17:00:57 891 1

原创【转】gcc编译时对’xxxx’未定义的引用问题

先放上博主自己研究内核定时器时候遇到的一个问题：以下内容均为转载在使用gcc编译的时候有时候会碰到这样的问题，编译为.o(obj) 文件没有问题，但是编译(这一步应该是链接)为可执行文件的时候会出现找不到’xxx’的定义的情况。例如：g++ -o spider -rdynamic -lpthread -levent -lcrypt -ldl bloomfilter.o co...

2017-11-28 20:33:46 704

原创【转】Linux Shell编程入门

从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用 Shell脚本编程，完成更加复杂的操作。在Linux GUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修功课之一。Linux的Sh...

2017-11-22 16:54:27 72

原创【转】VMware Ubuntu安装详细过程

由于最近学习课程中要使用到Linux系统，所以就从网上找了一下了。发现有很多系统，centos、kali、Ubuntu、redhat等等。其中我服务器用的是CentOS，听同学说kali是重量级的Linux系统(也就是有很多已经安装好的软件)，而下面要说的Ubuntu是一款优化做的很好，甚至可以与MacOS相媲美的一款Linux系统。像有“系统洁癖”的码农还是非常适合在虚拟机上学习...

2017-11-12 00:26:28 83

原创【转】Linux vi命令详解

刚开始学着用linux，对vi命令不是很熟，在网上转接了一篇。vi编辑器是所有Unix及Linux系统下标准的编辑器，它的强大不逊色于任何最新的文本编辑器，这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux中最基本的文本编辑器，学会它后，您将在Linux的...

2017-11-08 13:36:48 60

C++个人通讯录管理系统

空空如也