Nancy_张-CSDN博客

原创代码随想录算法训练营第25天| 第七章回溯算法part02: leetcode 216、leetcode 17

有了昨天的基础，今天的博客轻松些了~之前差的day2~day23的博客也要慢慢补上来，fighting!

2023-08-05 15:06:55 224

原创代码随想录算法训练营第24天| 第七章回溯算法part01 理论基础、leetcode 77

力扣刷题 | 回溯算法

2023-08-04 20:55:45 349

原创代码随想录算法训练营第一天| Leetcode 704. 二分查找、Leetcode 27. 移除元素

代码随想录训练营的第一天内容：数组概念、二分查找和移除元素

2023-07-12 23:36:43 323

原创特征工程总结I

特征工程总结（待更新）

2022-06-23 11:28:54 168

原创解决：Using or importing the ABCs from ‘collections‘

collections模块

2022-06-10 16:24:03 162

原创解决OSError: /root/anaconda3/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20‘ not found问题

背景描述：在安装opencc模块时报错OSError: /root/anaconda3/bin/…/lib/libstdc++.so.6: version `GLIBCXX_3.4.20’ not found问题，网上搜索解决方案，发现这个问题经常出现，它是c相关的一些依赖库的文件，常在下载模块时报错，归根结底是版本不对，用了很多方法，最终在官网上找到了解决办法。解决方法：conda install -c anaconda libgcc #安装最新版本，最快速有效的解决方案以下是我尝试过，但对我无

2020-09-11 20:54:55 1934 1

原创如何在anaconda下设置代理？

背景描述：由于公司设置了内网，要下载什么模块时只能通过代理。在pip下载模块时，我们可以使用pip install xxx --proxy=http://username:password@ip:port的方式；而用conda下载模块时就没有相应的–proxy选项了，那么该如何设置conda下的代理呢？解决方法：首先，我们要找到.condarc文件，这是conda在运行期间的配置文件，值得注意的是，该文件如果之前没有运行过相关conda config命令的话是不存在的，执行如下命令：conda co

2020-09-11 20:40:17 9965

原创解决python3和jupyter-notebook中的报错No module named pyspark和No module named ‘py4j’

背景描述：在centos7–CDH6下配置了spark2.4和hive2.3，在linux-shell中输入pyspark可以正常启动，执行下列语句可正常显示from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("Python Spark SQL Hive integration example").enableHiveSupport().getOrCreate()spark.sql("show databa

2020-09-11 10:31:31 8942 6

原创如何找出MONGODB的某个域出现的最早记录？

背景描述：众所周知，Mongodb是非常灵活的非关系型数据库，它的域（相当于关系型数据库的列，文档相当于关系型数据库的行/记录，下面统一采用用关系型数据库的叫法）是可以动态更新的，例如前n条记录只有三列分别是_id,name,date，后n条突然增加三列age,hobby,height变为六列，如果我想找到age这列出现的最早记录，该怎么办呢？思路分析：方法一：首先，可以找到age列不为空的所有记录，然后按_id或者date（两者选一）进行升序排序，只取一个记录就可以找到该列出现的最早记录，在Mong

2020-09-09 11:36:39 658

原创 hive报错：Failed to move to trash: hdfs Permission denied by sticky 无法删除文件

背景描述：由于默认的hdfs是备份为3，在三台集群上hive的数据库都有备份，现在准备删除其他datanode上的备份，但执行hadoop fs -rm -r /user/hive/warehouse/*命令时报错：rm: Failed to move to trash: Permission denied by sticky bit: user=root, path=…错误分析：经过网上搜查之后，发现错误原因可能有三，一是root用户权限不够，在hdfs下，hdfs才是最大权限用户，解决方法是增

2020-09-07 20:26:19 2906

原创 Python：将字符串的列表识别为列表

问题描述：如何将形如str1="[{‘a’:1,‘b’:2},{‘a’:3,‘b’:4}]"这样的字符串里的列表识别出来，得到[{‘a’: 1, ‘b’: 2}, {‘a’: 3, ‘b’: 4}]？解决方法：Python提供了模块ast可以将字符串里的表达式识别出来，以上述问题为例，代码如下：str1="[{'a':1,'b':2},{'a':3,'b':4}]"import astast.literal_eval(str1)得到：[{‘a’: 1, ‘b’: 2}, {‘a’: 3, ‘

2020-09-03 17:34:24 859

原创 Python pandas插入数据到数据库报错：expected str instance, dict found

问题描述：我所生成的数据框中有一列user是列表嵌套字典的类型，形如[{‘name’:’大大’ , ’age’:18},{‘name’:’小小’ , ’age’:81}…]，通过查官方手册，发现这种类型的数据在mysql中一般以字符串的形式存储，但使用代码：from sqlalchemy import create_engineengine= = create_engine("pymysql+mysql://username:password@ip/dbname?charset=utf8")data

2020-09-03 17:27:16 2125

原创 Pandas：插入数据到数据库报错sqlchemy python No module named ‘MySQLdb‘

问题描述：在mysql建好表后，使用pandas的to_sql函数插入数据框到数据，代码如下from sqlalchemy import create_engineengine= = create_engine("mysql://username:password@ip/dbname?charset=utf8")连接报错：sqlchemy python No module named ‘MySQLdb’问题分析：sqlalchemy默认使用MysqlDb库，但该库在python2.x之后不再更新

2020-09-03 17:11:24 378

原创解决pyhive连接时出现thrift.transport.TTransport.TTransportException: Could not connect to any of…的问题

问题描述：使用pyhive在本地连接hive时，发现使用conn = hive.connect(host=qy_host,port=10000,auth=“CUSTOM”,database=‘default’,… username=qy_user,password=qy_pw)无法连接，qy_host无论是localhost还是服务器的ip都提示上述错误。问题解决：首先，进入hive输入set hive.server2.thrift.port，查看输出的端口是否为

2020-08-04 17:39:06 13194 10

原创 centos安装netstat

执行如下命令yum install net-tools -ynetstat -nltp

2020-08-03 10:53:45 374

原创更新tensorflow报错：ERROR: Cannot uninstall ‘wrapt‘…./ ERROR: …but you‘ll have grpcio 1.18.0 which is inc

问题描述：python导入kerea模块的时候报错，提示要升级tensorflow的版本，使用pip install --upgrade tensorflow报如下错误：解决方法如下：(1) pip install --upgrade grpcio(2) pip install --upgrade setuptools(3) pip install -U --ignore-installed wrapt enum34 simplejson netaddr(4) pip install --up

2020-08-01 15:49:14 349

原创 hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

错误描述：今天使用insertjoin语句插入数据到hive，报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask。解决方法：登录hive，输入SET hive.auto.convert.join=false;这个方法只是临时的，最好在有join的语句前先写上这一句。参考：https://stackoverflow.com/questions/46439306/fa

2020-07-28 17:32:30 1682

weixin_41108545的博客